Pierwotny dwór w Zwartowie powstał pod koniec XVIII wieku w stylu barokowym. Pierwsza połowa XIX wieku to częste zmiany właścicieli majątku. Dopiero w 1853 roku, kiedy to właścicielem został baron von Hammerstein nastąpiła jego przebudowa i rozbudowa w stylu klasycystycznym. Podwyższono wówczas budowlę o jedno piętro i założono nowy park wykorzystując urozmaiconą rzeźbę terenu. W 2 połowie XIX wieku w majątku funkcjonowała fabryka zapałek i gorzelnia. Obecny wygląd rezydencji pochodzi z lat po 1904 roku, kiedy cały majątek kupił von Kunster, który praktycznie przebudował założenie w pałac.
Powstał wówczas trzykondygnacyjny (drugie piętro w dachu) pałac o szarych elewacjach założony na planie prostokąta, nakryty dachem naczółkowym. W jego wschodniej części urządzono salę balową, zaś od strony ogrodu powstał taras ze schodami prowadzącymi do parku. Sam park został skomponowany w nowy sposób. W części środkowej utworzono wnętrze ogrodowe zaakcentowane klombem, aleje obsadzono krzewami, dosadzono też wiele drzew, m.in.: tulipanowca, sosnę, cisy pospolite, żywotnika zachodniego, klony, jesiony i kasztanowca, ścieżki wokół ogrodu warzywnego i sadu obsadzono grabami i żywopłotami. W skład zespołu rezydencjalnego wchodzi nadto modernistyczna, dwuskrzydłowa oficyna z podcieniami, zbudowana po 1904 roku, a także budynki gospodarcze i stajnie.
Pod koniec II wojny światowej Kunsterowie opuścili Zwartowo, a pałac po wyzwoleniu przeszedł na własność skarbu państwa. W 1948 roku część folwarczną i dwór przekazano Stacji Hodowli Roślin w Żelaznej. W 1958 roku część pałacową przekazano więziennictwu z przeznaczeniem na ośrodek pracy więźniów i ośrodek wczasowy. Do 1964 roku trwały prace remontowo – adaptacyjne, kiedy to przyjęto pierwszych wczasowiczów. Od tego czasu, z 3-letnią przerwą na odbudowę po spaleniu (w 1973 roku), służy jako baza Ośrodka Doskonalenia Kadr Służby Więziennej „Relaks” w Zwartowie. Od 1990 roku ośrodek w miarę posiadania wolnych miejsc udostępniany jest także gościom spoza resortu.
Zwartowo jest położone 7 km na południowy-zachód od Choczewa, przy lokalnej drodze do Lęborka. Zespół pałacowo-parkowy jest usytuowany w północno-wschodniej części wsi.
Zdjęcia wykonano w czerwcu 2013 roku.