Pierwotny, gotycki zamek w Lipie został wzniesiony na przełomie XIII i XIV wieku przez templariuszy, na skalistym wzgórzu górującym nad wsią.
Warownia zbudowana z kamienia na planie nieregularnym z kwadratową wieżą, składała się najprawdopodobniej z dwóch członów – zamku właściwego i podzamcza. Całość była otoczona suchą fosą. Po rozwiązaniu zakonu na początku XIV wieku zamek stał się siedzibą rodu von Zedlitz, przez których został przebudowany w XVI wieku na renesansową rezydencję.
Po Zedlitzach majątek wraz z zamkiem należał do rodzin von Reibnitz i von Niptsch. W XVII i XVIII wieku, straciwszy swe obronne znaczenie zamek podupadł i był wykorzystywany jako bezpłatny skład materiałów budowlanych. Na początku XIX wieku nowym właścicielem budowli został Fischer, który umieścił na zamku magazyny zboża, a w 1821 roku dokonał częściowej rozbiórki warowni. W 1834 roku dobra zakupił hrabia Rudolph von Stillfried-Rattonitz, który odbudował rezydencję w stylu neogotyckim. Zamek został zniszczony w czasie ostatniej wojny i nie zabezpieczony zaczął popadać w ruinę. W 1972 roku ruiny kupił prywatny właściciel, który na stałe mieszka w Szwajcarii i nie interesuje się zabytkiem. Do dziś zachowały się fragmenty kamiennych murów, wieży oraz kuchni z wielkim kominem.
Lipa położona jest około 8 km na północny-zachód od Bolkowa, przy lokalnej drodze do Starej Kraśnicy. Zamek znajduje się na początku wsi po prawej stronie drogi, na wzgórzu za żółtym domem mieszkalnym.
Zdjęcia wykonano w lipcu 2009 roku.