Pierwotny dwór w Kaczorowie został wzniesiony w 1561 roku, być może z fundacji rodziny von Zedlitz. Około 1829 roku przebudowano go na eklektyczny pałac, prawdopodobnie za sprawą rodu von Ponickau. Dawid August von Mack, nobilitowany w 1798 roku kapitan regimentu von Gravenitz, ożenił się z N. von Ponickau i w wianie otrzymał majątek w Kaczorowie. W 1886 roku posiadłość o powierzchni 146 ha należała do Karola Reimara von Karsteda. Kolejne przekształcenia rezydencji miały miejsce pod koniec XIX wieku, kiedy to jako właściciel majątku liczącego 165,6 ha wymieniony był w 1894 i 1905 roku Gotfryd Raupach. W 1905 roku sprzedał on dobra w Kaczorowie baronowej Elli von Puttkamer z domu von Foerster. W jej rękach posiadłość pozostała co najmniej do 1930 roku. Według księgi adresowej z 1937 roku majątek o powierzchni 198 ha, należący do Petera Pendrasa dzierżawił Teofil von Tilly. Po drugiej wojnie światowej dobra zostały upaństwowione. W pałacu urządzono istniejącą do dziś szkołę podstawową. W 1989 roku budynek spłonął, następnie został odbudowany.

Obecnie jest to dwukondygnacyjna, podpiwniczona rezydencja, murowana z cegły i otynkowana, wzniesiona na rzucie prostokąta, zbliżonego do kwadratu, nakryta wysokim dachem czterospadowym z lukarnami. W osi fasady umiejscowiono trzyosiowy ryzalit mieszczący główne wejście, poprzedzone schodami. Do elewacji tylnej i jednej z bocznych dostawiono parterowe dobudówki, w drugiej elewacji bocznej znajduje się dwukondygnacyjny ryzalit zamknięty neorenesansowym szczytem. W narożniku południowo-wschodnim stoi cylindryczna baszta, zwieńczona spiczastym daszkiem. Elewacje zachowały nieliczne pozostałości detali architektonicznych: boniowane narożniki, wydatny gzyms wieńczący, obramowania części otworów okiennych oraz wmurowane kartusze herbowe. Układ wnętrz przekształcony, w przyziemiu część sal zachowała sklepienia kolebkowe i lustrzane. Do pałacu przylegają pozostałości parku krajobrazowego z drugiej połowy XIX wieku.

Obecnie w obiekcie mieści się szkoła podstawowa. 

Kaczorów jest położony 16 km na wschód od Jeleniej Góry, przy drodze nr 3 do Bolkowa. Pałac znajduje się w centrum miejscowości, na niewielkim wzniesieniu, tuż przy drodze, po jej północnej stronie.

Zdjęcia wykonano w lutym 2012 roku.