Eklektyczny, murowany dwór w Lipiej Górze został zbudowany pod koniec XIX wieku, prawdopodobnie przez Karola Scholera, do którego dobra należały do 1880 roku. Stary dwór stojący nad rzeką Janką został rozebrany, a na jego fundamentach wzniesiono nową rezydencję.

Powstała wówczas parterowa budowla z piwnicami o sklepieniu kolebkowym z XVII wieku, wzniesiona na planie prostokąta, nakryta dwuspadowym dachem. W osi dworu, w partii dachu umieszczono dwie trójosiowe wystawki. Do lewego boku dostawiono dwukondygnacyjną, kwadratową wieżę, nakrytą czterospadowym daszkiem. Do  dworu wzniesionego na pagórku prowadzą długie, jednobiegowe schody.W przypałacowym parku rosną pomnikowe drzewa: dąb i lipa.

Kolejnymi właścicielami po 1880 roku byli Neuman, Marwitz, Frost i Barnbeck, który zamieszkiwał tu aż do momentu wkroczenia wojsk radzieckich pod koniec drugiej wojny światowej. W 1945 roku majątek rozparcelowano, a dwór zasiedlono Polakami z ziem utraconych. Od 1985 roku dwór jest własnością prywatną, został odrestaurowany i wraz z przyległym parkiem wpisany do rejestru zabytków.

Lipia Góra jest położona 12 km na południowy-zachód od Gniewu, przy drodze nr 623 do Mirotek. Dwór znajduje się na wzniesieniu, po południowej stronie szosy.

Zdjęcia wykonano we wrześniu 2011 roku.