Pierwotny dwór w Górkach pochodzi z XVI wieku.

Piętrową budowlę wzniesiono na planie prostokąta, z wieżą w północno-wschodnim narożniku. Całość została nakryta dachem mansardowym z facjatami. Rezydencja była kilkakrotnie przebudowywana i ostateczny, eklektyczny kształt otrzymała w XVIII wieku. Wokół dworu założono park krajobrazowy.

Od 1910 roku dwór – jako jeden z nielicznych w Prusach Wschodnich, należał do polskich właścicieli, państwa Kowalskich i stanowił ostoję polskości na tych terenach. W 1920 roku w czasie podróży po terenach plebiscytowych przebywało tutaj wielu znakomitych Polaków, m.in. Stefan Żeromski oraz Jan Kasprowicz. Po przegranym plebiscycie dwór nadal pozostał ośrodkiem polskości i z tego powodu właściciele byli szykanowani przez władze pruskie. W 1934 roku zostali wysiedleni z terenów Powiśla, a w 1937 roku majątek przeszedł w ręce niemieckie. Po wojnie w Górkach utworzono PGR, a w dworku urządzono biura, a następnie pomieszczenia mieszkalne. Budynek stopniowo ulegał degradacji. Obecnie budynek zabytkowego dworu wraz z parkiem oraz przyległy grunt (razem 7,6 ha) jest własnością Fundacji „Misericordia” (powołanej w 1992 roku przez Radę Miasta Kwidzyna). Aktualnie w odnowionym dworku mieści się Centrum Rehabilitacji Osób Niepełnosprawnych. W parku trwają prace rekultywacyjne przystosowujące go do potrzeb osób niepełnosprawnych. Znajdują się w nim dwa duże stawy hodowlane. Park służy wszystkim mieszkańcom miasta i okolic, jako doskonałe miejsce do odpoczynku i rekreacji. 

Górki (obecnie dzielnica Kwidzyna) są położone 1,5 km na wschód od centrum miasta, przy drodze nr 521 do Prabut. Dwór znajduje się 100 metrów po lewej stronie drogi.

Zdjęcia wykonano w czerwcu 2010 roku.