Pierwotny pałacyk Ermitaż wybudowany został w leśnym zakątku w Łazienkach Królewskich na polecenie marszałka wielkiego koronnego Stanisława Herakliusza Lubomirskiego w latach siedemdziesiątych XVII wieku według projektu Tylmana z Gameren. Budowla początkowo zwana Eremitorium, pełniła funkcje samotni, służącej do odpoczynku. W roku 1764 właścicielem Ujazdowa i tym samym Ermitażu został król Stanisław August Poniatowski. W 1777 roku pałacyk uległ pożarowi, został jednak szybko odbudowany według projektu Merliniego.

Powstała wówczas parterowa budowla wzniesiona na planie prostokąta, nakryta mansardowym dachem z facjatami. Wejście główne umiejscowiono w dwukolumnowym, wgłębnym portyku.

Stanisław August Poniatowski oddał pałacyk w ręce swej przyjaciółki Henrietty Lullier. Na tyłach Ermitażu powstał ogród, zaprojektowany w stylu anglo-chińskim i nazywany Dziką Promenadą. W 1819 roku podczas przemian Łazienek w koszary kirasjerów ogród zmienił swój styl, z pełnego krętych alejek, na typowy z szerokimi polanami i skupiskami drzew, a w początkach XX wieku przemieniono go w sad owocowy. Po wojnie, w latach pięćdziesiątych, Ermitaż stał się rezydencją Kazimierza Mijala. Za jego czasów powstała tam fontanna z okrągłym basenem. Później pałacyk zaadaptowano na przedszkole dla dzieci tak zwanych elit. Podczas budowy Trasy Łazienkowskiej na teren ogrodu Ermitażu zwieziono ziemię, tym samym cała powierzchnia ogrodu pokryła się metrową warstwą ziemi z gliną, na której później postawiono bramki i stworzono boisko, na którym grali zarówno zawodnicy Legi jak i młodzież okolicznych szkól. W 1993 budynek Ermitażu przeszedł na własność Łazienek Królewskich, które wynajęły go kancelarii prezydenta Lecha Wałęsy. Powstała tam siedziba Bezpartyjnego Bloku Wspierania Reform, jednak po krótkim czasie opuszczono budynek nie robiąc w nim zasadniczego remontu. W 1995 roku Ermitażem zainteresowała się warszawska restauracja „Belvedere” w Łazienkach Królewskich, która przeprowadziła remont budynku. Po „Belvedere” nowym użytkownikiem zostało Stowarzyszenie Kulturalne „Renesans”, jednak z powodu braku zainteresowania obiektem, Łazienki rozwiązały umowę. Dzisiaj parter wykorzystywany jest na różne cele kulturalne, przede wszystkim organizowane są tam wystawy. Piętro zajmuje Towarzystwo Opieki Nad Zabytkami.

Ermitaż znajduje się w północnej części parku Łazienki Królewskie w Warszawie.

Zdjęcia wykonano w czerwcu 2014 roku.