Nie jest dokładnie znana data budowy założenia wzniesionego przez Krzyżaków, większość badaczy łączy ją z powstaniem miasta około 1382 roku. W 1466 roku zamek został zniszczony i przeszedł pod panowanie polskie. W 1565 roku król Zygmunt August przekazał warownię Mikołajowi i Szczęsnemu Konarskim. Założenie uległo z czasem całkowitej rozbiórce. Nie przeprowadzano tu żadnych badań i niestety nie znamy rozplanowania zamku, być może jego relikty kryje wzgórze nad jeziorem.
Biały Bór jest położony 29 km na północ od Szczecinka, przy drodze nr 20 do Miastka.