Jan z Czarnkowa i Jan Długosz przypisują fundację zamku Kazimierzowi Wielkiemu, lecz ostatnio część badaczy identyfikuje go jako zamek Przymiłowice wspomniany w dokumentach procesowych z 1306 roku. Nowa nazwa – Olsztyn – pojawia się dopiero od 1341 roku. Najstarsza część warowni, zamek górny, wzniesiony z miejscowego wapienia na szczycie skalistego wzgórza, składał się z cylindrycznej wieży o średnicy 8 m i wysokości 20 m wzniesionej w narożniku południowo-wschodnim i domu mieszkalnego, zamykającego dziedziniec od południa. Wejście prowadziło przez bramę usytuowaną obok wieży. Całość była otoczona murem obronnym na planie czworoboku. Równocześnie z zamkiem górnym powstał zamek średni pełniący początkowo funkcje gospodarcze. Składał się on z wieży bramnej, mostu prowadzącego do zamku górnego, wieży na środku dziedzińca i zabudowań gospodarczych. Na początku XVI wieku został wydzielony zamek dolny i dwa podzamcza gospodarcze otoczone murami i fosami.
Zamek ochraniał granice państwa od strony Śląska i Czech oraz służył jako więzienie, w jego lochach Kazimierz Wielki osadził wojewodę poznańskiego Maćka Borkowica. W 1370 roku król Ludwik Węgierski oddał zamek w lenno Władysławowi Opolczykowi i dopiero w 1391 roku Władysław Jagiełło odzyskał warownię po trzydniowym oblężeniu. Później dobra olsztyńskie uzyskały status starostwa niegrodowego. Pierwszym starostą był Jan Szczekocki, a po nim m.in. Mikołaj Szydłowiecki, Piotr Opaliński oraz Jan i Joachim Ociescy. W 1587 roku zamek oparł się szturmowi arcyksięcia Maksymiliana, a w 1656 roku zdobyli i spustoszyli go Szwedzi i odtąd pozostawał w ruinie. W 1722 roku zaczęto rozbiórkę murów, a pozyskany materiał użyto do budowy kościoła. Obecnie zamek jest własnością gminy i po zabezpieczeniu go w formie trwałej ruiny, został udostępniony do zwiedzania.
Olsztyn jest położony 10 km na południowy-wschód od Częstochowy przy drodze nr 46 do Szczekocin. Ruiny zamku, widoczne z daleka wznoszą się na wzgórzu nad miejscowością.
Zdjęcie wykonano w sierpniu 2004 roku.