Pod koniec XVI wieku budowę murowanego zameczku w Warszawie rozpoczął kasztelan krakowski książę Janusz Ostrogski. Po wybudowaniu piwnic i murów obwodowych, w formie bastionu, książę przekazał teren rodzinie Denhoffów, a ci w 1681 roku odstąpili go Gnińskim, którzy w obrębie murów na szczycie bastionu od strony północnej wznieśli renesansowy pałac według projektu Tylmana z Gameren. Budowę ukończono w drugiej połowie XVII wieku. Na początku XVIII wieku budowla trafiła w ręce Zamoyskich, następnie Czapskich, a później Chodkiewiczów.
W 1820 roku kupił go sekretarz policji Michał Gajewski, który dokonał jego barokowej przebudowy, dodając drugie piętro i oficyny. Później zamek często zmieniał swoje przeznaczenie. Mieściły się w nim kolejno: lazaret, fabryka wyrobów gumowych, dom zdrowia i instytut dla zaniedbanych dzieci. W 1858 roku pałac przejęło Warszawskie Konserwatorium muzyczne, które miało tu swoją siedzibę do 1939 roku. Tu uczył się muzyki, a następnie został jego wykładowcą Ignacy Paderewski. Pałac-zameczek został zniszczony w czasie II wojny światowej i następnie odbudowany w latach 1949-54 według projekt Mieczysława Kuźmy. Przywrócono mu wtedy wygląd z XVII wieku, nadając wnętrzom styl późnego baroku, rokoka i klasycyzmu. Obecnie jest siedzibą Towarzystwa im. Fryderyka Chopina. Budowla mieści się w centrum lewobrzeżnej Warszawy w połowie skarpy wiślanej, przy ulicy Tamka 41 w dzielnicy Powiśle.
Zdjęcia wykonano w październiku 2008 roku.
Nowe zdjęcia wykonano w maju 2016 roku.