Klasycystyczny, nawiązujący do neorenesansu pałac w Żywcu zwany Nowym Zamkiem został wzniesiony na przełomie XVIII i XIX wieku z polecenia arcyksięcia Albrechta Habsburga, według projektu  Karola Pietschki.

Obiekt wybudowany na miejscu dawnych oficyn zamku Wielopolskich, był kilkakrotnie przebudowywany. W latach 1893–95 powstało nowe skrzydło pokryte szklanym dachem, w którym urządzono sypialnie i pokoje gościnne. Kolejnej rozbudowy dokonano, gdy dobra żywieckie przejął po zmarłym wuju Karol Stefan. Wtedy to dobudowano pawilon na przedłużenie skrzydła południowego, w którym na piętrze mieściła się sala balowa, o wymiarach 10,5 x 18,0 m, tzw. lustrzana, ponieważ była wypełniona taflami lustrzanymi. W lustrzanej sali balowej, znanej z doskonałej akustyki do dziś odbywają się koncerty. Ostatniej rozbudowy dokonano w 1911 roku, dobudowując trzyosiowy ryzalit z dwoma bocznymi balkonami, zwieńczony klasycznym tympanonem z herbem Habsburgów. Ciekawostką jest malowidło na frontowej elewacji, przedstawiające legendę o św. Hubercie, patronie myśliwych, któremu ukazał się jeleń z krzyżem pomiędzy rogami. Wnętrza rezydencji zostały zaprojektowane i urządzone był przez znanych artystów krakowskich Franciszka Mączyńskiego i Tadeusza Stryjeńskiego. 

Arcyksiążę był miłośnikiem sztuki, za jego sprawą powstał na zamku zbiór obrazów malarzy polskich i europejskich. Pracował dla niego m.in. Wojciech Kossak. Słynna była też kolekcja sreber o wadze około 500 kg zgromadzona na zamku, wywieziona w czasie wojny przez Niemców. Po śmierci Karola Stefana w 1933 roku dobra żywieckie odziedziczył jego syn Karol Olbracht Habsburg, który był oficerem wojska polskiego. Po zajęciu kraju przez Niemców w 1939 roku odmówił jakiejkolwiek współpracy z nimi, za co był wraz z rodziną represjonowany. Po wojnie w pałacu znalazł siedzibę istniejący do dziś Zespół Szkół Drzewnych i Leśnych. W latach 90-tych XX wieku do zamku powróciła córka arcyksięcia Karola Olbrachta, księżna Maria Krystyna Altenburg, dla której urządzono mieszkanie w jednym ze skrzydeł dawnej rezydencji. Pałac jest usytuowany na terenie parku obok starego zamku.

Żywiec jest położony 19 km na południowy-wschód od Bielska-Białej, przy drodze nr 69 do Korbielowa. Pałac znajduje się przy ul. Zamkowej 2.

Zdjęcia wykonano we wrześniu 2013 roku.