Gotycki zamek biskupi „Lipowiec” w Babicach został wzniesiony w drugiej połowie XIII wieku, na miejscu siedziby rozbójników. Fundatorem warowni był prawdopodobnie krakowski biskup Prandota. Istnienie budowli potwierdza dokument wystawiony w Lipowcu w 1303 roku przez biskupa Jana Muskatę.

          Pierwotny zamek składał się z kamiennej, wolno stojącej, cylindrycznej wieży, o średnicy 9 metrów, przedbramia i studni wykutej w skale. Pozostałe zabudowania były drewniane, a całość otaczał wał drewniano-ziemny, biegnący po krawędziach wzgórza, na którym wzniesiono warownię. W XV wieku warownia została rozbudowana przez biskupów : Wojciecha Jastrzębca oraz Zbigniewa Oleśnickiego. Powstało wtedy piętrowe, wymurowane z miejscowego kamienia, czworoboczne założenie z małym dziedzińcem, okalające istniejącą, okrągłą wieżę. Wieża została podwyższona i przystosowana do użycia artylerii. Całość, w miejsce wału otoczono kamiennym murem obronnym. Brama wjazdowa została usytuowana od południa. Pod koniec XV wieku drewnianą zabudowę podzamcza również otoczono kamiennym murem z bramą wjazdową. W XVI wieku przebudowano wnętrza zamkowe, przystosowując je do celów więzienia biskupiego. W 1629 roku cała drewniana zabudowa została strawiona przez pożar, a w 1655 roku odbudowany zamek zajęli Szwedzi, którzy go spalili dwa lata później. W 1732 roku zamek ponownie odbudowano, urządzając w nim dom poprawczy dla duchownych. Po rozbiorach w 1789 roku budowla została przejęta przez władze austriackie i zaczęła popadać w ruinę, którą ostatecznie przyspieszył pożar w 1800 roku. W jego wyniku całkowicie został zniszczony dach budowli, oraz poważnego uszczerbku doznały kamienne mury zamczyska.

         Pierwsze prace konserwatorskie podjęto dopiero w 1961 roku. Doprowadziły one do zachowania warowni w formie trwałej ruiny, na którą składa się murowany obwód obronny z bramą wjazdową, oraz zachowane do wysokości pierwszego piętra mury zamku właściwego, z których wznosi się cylindryczna wieża. Ruiny udostępnione są do zwiedzania za niewielką opłatą.