Zamek w Rytrze został wzniesiony prawdopodobnie w końcu XIII wieku. Nie wiadomo kto był fundatorem warowni, lecz a czasów Władysława Łokietka należała ona do domeny królewskiej. Na wysokim wzgórzu (463 m n.p.m.) wznoszącym się na prawym brzegu Popradu wzniesiono najpierw cylindryczną wieżę o średnicy zewnętrznej 9,5 m. W drugiej fazie budowy, wieżę otoczono po krawędzi szczytu, murem obwodowym i wzniesiono dom mieszkalny przy kurtynie zachodniej. Wjazd prowadził zapewne po wschodniej stronie wieży. Całość została wzniesiona z kamienia i odcięta od pozostałej części wzgórza wałem ziemnym i fosą.
Od początku XV wieku zamek pozostawał w rękach tenutariuszy: Jakusza z Boturzyna, a po nim przedstawicieli rodu Toporczyków, którzy przyjęli nazwisko Ryterskich. W XVI wieku administrował zamkiem Piotr Kmita. Wkrótce potem warownia popadła w ruinę. Do dziś zachowała się ruina wieży, do wysokości ok. 10 m i fragmenty domu mieszkalnego, oraz resztki muru obwodowego.
Rytro jest położone 21 km na południe od Nowego Sącza przy drodze nr 87 do Muszyny. Zamek znajduje się na wzgórzu po lewej stronie miejscowości.
Zdjęcia wykonano w maju 2005 roku.