Murowany zamek w Lipiu zbudował zapewne biskup kamieński Herman von Gleichen około 1280 roku. Budowlę wzniesiono na cyplu wznoszącym się około 25 metrów nad rzeką Mogielnicą, na miejscu starszego grodu.
Założenie zbudowano w formie wieży mieszkalno-obronnej, na planie prostokąta o wymiarach 9,8 x 18,2 metra, z kamieni eratycznych i cegły. Rozplanowanie wewnętrzne budowli, ani jej wysokość nie są niestety znane. Od 1394 roku Lipie znajdowało się w rękach książąt zachodniopomorskich. W 1444 roku zamek i miasto zostały złupione przez Krzyżaków. W drugiej połowie XV wieku zamek trafił w ręce biskupa Erazma Manteuffela, który w 1523 roku przekazał go swojej rodzinie. W 1540 roku zamek został zniszczony w czasie najazdu rodziny Borków, jednak szybko go odbudowano. Prawdopodobnie wtedy po wschodniej stronie wieży utworzono dziedziniec o wymiarach 10,3 x 16,5 metra, otoczony z trzech stron murem, z bramą wjazdową od południa. W 1572 roku Lipie utraciło prawa miejskie, co spowodowało powolny upadek miasta i zamku. Całkowity upadek nastąpił po wojnie trzydziestoletniej w XVII wieku w trakcie której miasto zostało spalone, a ludność się wyprowadziła. W 1733 roku zamek rozebrano wykorzystując uzyskany materiał do wzniesienia nowego dworu, oddalonego od ruin o około 150 metrów. Do dziś zachowały się ledwie ślady murów przyziemia oraz dwór zbudowany z rozebranego zamku.
Lipie jest położone około 13 km na północny-wschód od Świdwina, przy lokalnej drodze położonej na północ od drogi nr 152 do Połczyna-Zdroju. Nikłe resztki ruin położone są w północno-zachodniej części wsi, na krawędzi skarpy, w zarośniętym, dawnym parku. Relikty wskazała mi pani mieszkająca w dawnym dworze.
Zdjęcia wykonano w czerwcu 2010 roku.