Pierwsza wzmianka o posesji położonej w Oliwie przy ul. Polanki 119 pochodzi z roku 1626 lub 1632, gdy była ona w rękach Jana Morgenrotha. Początkowo drewniany dwór zastąpiła w XVIII wieku murowana, rokokowa rezydencja. Ten zaś budynek został później przebudowany w stylu klasycystycznym. Powstała wówczas piętrowa budowla wzniesiona na planie prostokąta, nakryta czterospadowym dachem. Do dworu prowadzi aleja lipowa, która wraz ze stawami przypomina o dawnym założeniu parkowym.
Od 1732 roku właścicielem założenia był Georg von Wachsschläger, następnie w latach 1737-41 Jan Losehart, a po nim Karol Groddeck. W późniejszym czasie od 1805 roku Fryderyk von Kempen. W 1909 roku mieścił się we dworze Okręgowy Zakład Ubezpieczeń dla Prus Wschodnich, potem – szkoła dla dziewcząt. Po II wojnie światowej urządzono we dworze szpital dziecięcy, a pięć lat później utworzono Państwowe Przeciwgruźlicze Sanatorium Dziecięce, a później hotel dla pielęgniarek. Z czasem zmienił się charakter placówki i gdy w 1976 roku oddano do użytku pawilon szpitalny przemianowano ją na Specjalistyczny Zespół Opieki Zdrowotnej nad Matką i Dzieckiem.
Do dziś zachował się główny budynek dworu. Można go obejrzeć, jednak obecnie jest on w opłakanym stanie. Na górnej kondygnacji mieści się rupieciarnia, a na dolnej – kuchnia i spiżarnia. Dwór IV z roku na rok niszczeje, jednak jak zapewnia dyrektor szpitala ma tu powstać oddział rehabilitacyjny dla dzieci i młodzieży. Jest już projekt rewitalizacji budynku. Prace podobno mają rozpocząć się na początku przyszłego roku.
Wieczorem 10 stycznia 2014 roku w opuszczonym i zaniedbanym dworze wybuchł pożar, w wyniku którego spaleniu uległ dach budynku.
Dwór IV jest położony w Oliwie, przy ulicy Polanki 119.
Zdjęcia wykonano w marcu 2011 roku.
Nowe zdjęcia wykonano w lipcu 2017 roku.