Murowany zamek w Łodygowicach został wzniesiony w I połowie XVII wieku z inicjatywy kasztelana krakowskiego Jerzego Zbaraskiego herbu Korybut, na miejscu starszego, drewnianego dworu rodu Komorowskich. W 1631 roku po śmierci Jerzego Zbaraskiego budowę kontynuował jego zięć wojewoda mazowiecki Stanisław Warszycki herbu Abdank. Otoczył on dwór nowymi fortyfikacjami bastionowymi na planie kwadratu o boku ok. 200 m. Na fortyfikacje składał się wał kamienno-ziemny, nawodniona fosa oraz bastiony w narożach. W 1709 roku Łodygowice zajął Jerzy Warszycki w trakcie rodzinnego konfliktu. W 1714 roku, na mocy wyroku sądowego Ludwik Pociej herbu Waga, bratanek hetmana wielkiego litewskiego, najechał Łodygowice i odebrał je Warszyckiemu. W 1849 roku dobra łodygowickie nabył bielski kupiec Rudolf Teodor Seelinger, a po nim właścicielem majątku było kilka różnych rodzin.
W 1866 roku właścicielem została Klementyna Primovesi de Weber, żona Adolfa Klobusa oficera wojsk austriackich. Przebudowali oni gruntownie fortalicjum do własnych potrzeb. Umocnienia bastionowe zostały częściowo rozebrane, a na miejscu zamku wzniesiono jednopiętrowy dwór, istniejący do dziś. Zachowany dwór został zbudowany na planie wydłużonego prostokąta z ryzalitem frontowym i ogrodowym. Nad wejściem do budynku znajduje się balkon wsparty na arkadach. Na wszystkich kondygnacjach po bokach schodów znajdują się po cztery pomieszczenia. Całość nakryta jest zielonym, glazurowanym dachem czterospadowym. Rodzina Klobusów posiadała Łodygowice wraz z przyległościami aż do śmierci ostatniego potomka Otto Klobusa w 1942 roku. Po wojnie we dworze mieściły się urzędy gminne a następnie szkoła rolnicza. Obecnie mieszczą się w im takie instytucje jak: biblioteka, gminny ośrodek kultury, ZNP, związek żołnierzy AK.
Łodygowice są położone 6 km na północ od Żywca, przy drodze nr 69 do Bielska-Białej. Pałac znajduje się w centrum wsi po prawej stronie drogi, przy ulicy Królowej Jadwigi.
Zdjęcia wykonano we wrześniu 2010 roku.