Założenie obronne w Kazimierzu Dolnym składa się z dwóch części: cylindrycznej, wolno stojącej wieży usytuowanej w wyższej, północno-wschodniej części wzgórza, oraz zamku właściwego, oddalonego od wieży o 180 m, zajmującego południowo-zachodnią partię wyniosłości.
Nie udało się dokładnie ustalić czasu zbudowania wieży, która uważana jest za najstarszy element zamku. Możliwe że postawił ją Władysław Łokietek, ale trudno wykluczyć że jest jeszcze starsza. Zbudowano ją z łamanego, miejscowego kamienia na planie koła o średnicy 10 m. Jej wysokość sięga 20 m, a grubość ścian dochodzi do 4 m. Wejście do wieży znajduje się na wysokości pierwszego piętra.
Zamek właściwy został zbudowany przez Kazimierza Wielkiego, około połowy XIV wieku. Pierwotne założenie składało się z murów obwodowych zbudowanych z kamienia łamanego na planie wydłużonego wieloboku o wymiarach 30×65 m. Wjazd do zamku znajdował się w północno-wschodnim odcinku muru obronnego. W północno-zachodniej części muru wzniesiono na rzucie kwadratu o boku 10 m, wysuniętą z lica cztero- lub pięciokondygnacyjną basztę otwartą do dziedzińca. W XV wieku nastąpiła rozbudowa założenia polegająca na wzniesieniu w południowo-zachodniej części dziedzińca trójkondygnacyjnego skrzydła mieszkalnego. Parę lat później dostawiono na zewnątrz północno-zachodniego odcinka murów obwodowych drugie, jednopiętrowe skrzydło mieszkalne zakończone małą wieżą, zbudowaną z cegły. Z tego okresu pochodzi także sucha fosa, oraz studnia na dziedzińcu. Zamek jako starostwo niegrodowe pozostawał w rękach tenutariuszy. Najdłużej, bo w latach 1509-1644 dzierżawili go Firlejowie. W XVI wieku przeprowadzili oni modernizację warowni, która ograniczyła się do nadbudowy północno-zachodniej części zamku, zwieńczenia attyką wieży i skrzydeł mieszkalnych, oraz wprowadzenia renesansowego wystroju. Zamek został zniszczony w czasie „potopu” szwedzkiego w latach 1655-57 oraz w latach 1707-14. Od tego momentu rozpoczął się powolny upadek warowni. Inwentarz z 1774 roku podaje, że zamek jest już opuszczony. W latach 70-tych XX wieku dokładne badania archeologiczno-
Kazimierz Dolny jest położony 45 km na wschód od Lublina i 12 km na południe od Puław. Ruiny zamku, widoczne z daleka, znajdują się na wzgórzu wyodrębnionym ze skarpy wiślanej, na północny-wschód od rynku.
Zdjęcia wykonano w maju 2008 roku.
Nowe zdjęcia wykonano w sierpniu 2017 roku.
Nowe zdjęcia wykonano w lipcu 2021 roku.