W samym sercu Żywca, tuż przy Starym Zamku i rozległym Parku Zamkowym, stoi rezydencja, która przez dziesięciolecia była domem jednej z najbardziej znanych rodzin arystokratycznych związanych z miastem. Pałac Habsburgów, nazywany Nowym Zamkiem, nie przypomina średniowiecznej warowni. To elegancki, klasycyzujący gmach o jasnej elewacji, długich skrzydłach i reprezentacyjnej części zwróconej ku parkowi. Charakterystyczne łukowe okna, balkony i trójkątny szczyt z herbem rodu nadają mu wygląd właściwy europejskim rezydencjom przełomu XIX i XX wieku. Wystarczy przejść z żywieckiego Rynku w stronę zamku, aby znaleźć się przed budynkiem, który tworzy z dawną siedzibą Komorowskich i zielenią parku jeden z najciekawszych zespołów architektonicznych w mieście. To miejsce warto zobaczyć nie tylko dla samej fasady, ale też dla historii ukrytej za jej oknami.
Powstanie pałacu wiąże się z arcyksięciem Albrechtem Fryderykiem Habsburgiem, który w 1885 roku zlecił architektowi Karolowi Pietschce przebudowę dawnych zabudowań stojących obok Starego Zamku. Zamiast wznosić rezydencję od podstaw w nowej lokalizacji, wykorzystano fragmenty wcześniejszego zespołu zamkowego, stopniowo nadając im jednolity, pałacowy charakter. W latach 1893–1895 powstało skrzydło mieszczące sypialnie i pokoje gościnne. Największe zmiany przyniósł jednak okres Karola Stefana Habsburga, który po 1895 roku zamieszkał tu z rodziną. Rezydencję rozbudowywano i dostosowywano do potrzeb dworu, a nad jej kształtem pracowali również krakowscy architekci Tadeusz Stryjeński i Franciszek Mączyński. Powstały śmiałe koncepcje połączenia Nowego i Starego Zamku w jedną monumentalną całość, lecz znaczna część tych zamierzeń pozostała na papierze. W 1911 roku pałac wzbogacił się o charakterystyczną, reprezentacyjną część elewacji.
Dawne wnętrza Nowego Zamku pozwalają wyobrazić sobie, jak wystawne życie prowadzono niegdyś w Żywcu. W pałacu znajdował się Biały Salon z dekoracjami inspirowanymi wiedeńskimi rezydencjami, a także imponująca Sala Lustrzana, której nazwa pochodziła od wielkich tafli luster zdobiących ściany. To właśnie tutaj organizowano uroczystości, przyjęcia i rodzinne wesela Habsburgów, w których uczestniczyli przedstawiciele europejskiej arystokracji. Karol Stefan był również kolekcjonerem sztuki; w jego otoczeniu pojawiali się znani polscy malarze, w tym Wojciech Kossak, Julian Fałat i Teodor Axentowicz. W pałacowym wyposażeniu znalazły się przedmioty sprowadzane z różnych krajów Europy, a część dawnych zbiorów została utracona podczas II wojny światowej. Przy rezydencji istniała również ozdobna kaplica, którą zniszczono w 1940 roku. Dziś te historie można poznawać przede wszystkim z dawnych fotografii, archiwaliów i opracowań historycznych.
Po wojnie pałac odebrano Habsburgom i przez wiele lat mieściła się w nim szkoła związana z kształceniem w zawodach drzewnych i leśnych. Szczególny rozdział w jego dziejach zapisała Maria Krystyna Habsburg, córka Karola Olbrachta, która po latach powróciła do Żywca i zamieszkała w części rodzinnej rezydencji. Zmarła tutaj w 2012 roku, a pamięć o niej pozostaje ważnym elementem lokalnej historii. Obecnie Nowy Zamek nie jest udostępniony do zwiedzania wewnątrz; we wrześniu 2026 roku informowano o przygotowaniach do jego renowacji. Nie oznacza to jednak, że trzeba omijać to miejsce. Pałac można oglądać z zewnątrz podczas spaceru po Parku Zamkowym, wśród starych drzew, alejek i pobliskich zabytków. To doskonały przystanek na trasie odkrywania historycznego Żywca, szczególnie w połączeniu ze Starym Zamkiem i Domkiem Chińskim.
