Pierwotny, renesansowy dwór obronny w Podzamczu został zbudowany w XVI wieku przez Jerzego Sokołowskiego.

Był to wówczas zapewne budynek jednopiętrowy, wzniesiony na planie prostokąta w całości podpiwniczony, stojący na naturalnym wzniesieniu. W pierwszych latach XVII wieku dwór znacznie rozbudowano i wzmocniono jego obronność, poprzez dobudowanie baszty ze strzelnicami w narożniku południowo-wschodnim. Ufortyfikowano także samo wzniesienie, otaczając je murem od północy i zachodu, a od południa przekopano fosę. Na początku XVIII wieku rezydencja przeszła w ręce rodu Kretkowskich. Wówczas to m.in. dobudowano drugą basztę w narożniku północno-wschodnim. Nie miała ona już funkcji obronnych, a wystawiono ją raczej ze względów estetycznych, dla zachowania symetrii w rozplanowaniu elewacji frontowej. Stąd znacznie cieńsze mury i brak strzelnic. Mieścił się w niej alkierz. Baszty nakryto spiczastymi daszkami, a dwór dachem czterospadowym z facjatami. Całość była otoczona parkiem krajobrazowym.

W 1763 roku dobra kupił Jerzy Dziewanowski, ówczesny wicewojewoda chełmiński. W 1777 roku Dziewanowscy sprzedali majątek pruskiemu Urzędowi Wojny i Skarbu w Kwidzynie, który założył tu swoją siedzibę. Około 1800 roku dzierżawcą dworu został Johann Borris. W 1850 roku Urząd Wojny i Skarbu oddał dobra w wieczyste użytkowanie dotychczasowym dzierżawcom, czyli właśnie rodzinie Borris. Jej przedstawiciele występują jako właściciele jeszcze w 1912 roku. Po II wojnie światowej opuszczone zabudowania zostały zdewastowane i popadły w ruinę. Zapadły się dachy i runęła część murów. Dopiero w 1960 roku pozostałości zostały objęte opieką konserwatorską. Obecnie w odrestaurowanym obiekcie znajduje hotel pod nazwą „Biały Dwór”,z restauracją i stylową kawiarnią w podziemiach.        

Podzamcze jest położone 6 km na północ od Kwidzyna, przy drodze nr 518 do Janowa. „Biały Dwór” położony jest na skraju płaskowyżu górującego nad doliną Wisły.

Zdjęcia wykonano w czerwcu 2010 roku.