Pierwotny dwór w Rajczy powstał prawdopodobnie w roku 1809 z inicjatywy Agnieszki z Jordanów Siemońskiej. W 1833 roku rezydencja została rozbudowana przez Anastazego Siemiońskiego. W latach 1854-93 Rajcza była w posiadaniu Teodora Primavesi, który ponownie przebudował założenie. Był to jednokondygnacyjny budynek z użytkowym poddaszem. Całość była zbudowana w stylu neogotyckim i otoczona zadbany parkiem z licznymi rzeźbami, stawem i unikatowym drzewostanem. W latach 1894-1914 właścicielem Rajczy był książę Władysław Lubomirski, który przeprowadził ostatnią gruntowną przebudowę rezydencji w latach 1895-96, w stylu neorenesansowym.

Architekt przekształcił dotychczasowe założenie w dwukondygnacyjny pałac z akcentami neorenesansowymi, zwłaszcza szczytami ryzalitów w kostiumie neorenesansu północnego. W południowej elewacji umieszczono arkadową loggię, nakrytą trójspadowym  dachem. Ówczesny pałac posiadał 26 pokoi mieszkalnych i recepcyjnych oraz 5 wejść, z czego główne w loggii południowej elewacji. Pomieszczenia dekorowane były stiukami, ogrzewane kominkami i piecami kaflowymi, ale całe to wyposażenie zostało zlikwidowane w czasie przebudowy pałacu w 1966 roku, kiedy dobudowano od zachodu skrzydło, zupełnie nie pasujące stylem do pozostałych. Całość otoczono parkiem krajobrazowym. Nowo zaprojektowana budowla pogodziła funkcje wygodnej wiejskiej rezydencji ze stonowaną reprezentacją.

W pałacu przebywali m.in. Karol Szymanowski i Grzegorz Fitelberg oraz wielu innych kompozytorów Młodej Polski. W roku 1914 Lubomirski sprzedaje Rajczę arcyksięciu Stefanowi Karolowi Habsburgowi, który w końcu 1916 roku postanawia przekazać obiekt na cele sanatoryjno-szpitalne dla kombatantów I wojny światowej. Od przekazania pałacu pod zarząd Czerwonego Krzyża, obiekt do czasu II wojny pełni różne role od szpitala po sanatorium przeciwgruźlicze, lecząc głównie żołnierzy i kombatantów wojennych. Podczas II wojny światowej w obiektach pałacowych mieścił się niemiecki szpital Wermachtu. W roku 1945 do pałacu-szpitala wkraczają Rosjanie dewastując jego zabytkowe wnętrze.

Po wojnie krótko pełnił funkcję szpitala wojskowego, ośrodka dla inwalidów wojennych i od połowy lat 50-tych – sanatorium przeciwgruźliczego. Tę funkcję pałac pełnił do lat 90-tych ubiegłego wieku, kiedy po remoncie przekształcono go w Państwowy Zakład Opiekuńczo-Leczniczy i ośrodek rehabilitacyjno-geriatryczny. W 1988 roku decyzją Wydziału Kultury i Sztuki Urzędu Wojewódzkiego w Bielsku-Białej, cały zespół pałacowo-parkowy zostaje wpisany do Rejestru Zabytków. W roku 1991 obiekt przekształcono w Państwowy Zakład Opiekuńczo- Leczniczy, a od 1999 r. mieści się tu Samodzielny Publiczny Zakład Opiekuńczo-Leczniczy dla przewlekle chorych z Ośrodkiem Rehabilitacyjno-Geriatrycznym. W 1999 roku przeprowadzony został remont kapitalny obiektu według projektu Edwarda Poskiera z Bielska-Białej.

Rajcza jest położona 21 km na południe od Żywca, przy lokalnej drodze do Ujsoł. Pałac-szpital znajduje się tuż przy głównej drodze (ul. Ujsolska 35), po jej lewej stronie.

Zdjęcia wykonano w maju 2019 roku.