Gotycki zamek w Karłowicach został wzniesiony w końcu pierwszej połowy XIV wieku przez ród von Tschammer. Pierwotna warownia miała formę nieregularnego czworoboku. Składała się ona z murów obwodowych, oraz okrągłej wieży, wystającej z lica południowo-wschodniego muru, przy której po jej prawej stronie znajdowała się brama wjazdowa. Główny dom zamkowy wzniesiono przy murze północno-zachodnim. Całość była otoczona fosą zasilaną w wodę z rzeki Stobrawy.
W 1440 roku Karłowice przeszły w ręce Michaela Beessa. W XVI wieku dobra karłowickie kupił kupił książę brzeski Jerzy IV Wilhelm. Po jego śmierci Karłowice stały się domeną królewską. Na przełomie XVII i XVIII wieku rozebrano stary dom mieszkalny i na jego miejscu w 1715 roku wzniesiono barokową kaplicę. W XVII wieku do zewnętrznego wschodniego narożnika dostawiono dom w kształcie litery L, który w XIX wieku przedłużono ku północy. Powstało w ten sposób założenie pałacowe, składające się z gotyckiej wieży i czworoboku zamykającego niewielki dziedziniec.
Po włączeniu Karłowic do Prus w 1742 roku majątek zajął fiskus. Następnie do II wojny światowej był w posiadaniu kilku rodzin : Nadlerów, Wallmannów, Carrelsów, a ostatnim właścicielem był Franz Krauze. Po wojnie zamek przeszedł w ręce Skarbu Państwa, a zarządzało nim Nadleśnictwo Państwowe w Brzegu, które urządziło tu hotel dla pracowników leśnych. Niewłaściwie zarządzany zamek został rozkradziony i zdewastowany. W latach 80-tych zamek kupił prywatny inwestor, który go wyremontował i przeprowadził konserwację. Dziś boryka się z kłopotami finansowymi tak że ponoć połowa zamku jest w rękach komornika. Stąd prawdopodobnie wynika niechęć właściciela do zwiedzających turystów, których stanowczo przegania ze swojej posesji. Zamek można obejrzeć z daleka i to najlepiej wczesną wiosną lub późną jesienią, gdy na drzewach nie ma liści zasłaniających widok.
Karłowice są położone 17 km na wschód od Brzegu. Z Brzegu należy wyjechać drogą nr 457, a następnie po ok.10 km skręcić w lewo w lokalną drogę. Zamek znajduje się na końcu wsi, po lewej stronie drogi.
Zdjęcia wykonano w marcu 2008 roku.