W 1198 roku książę tczewski Grzymisław osadził w Skarszewach Zakon Joannitów. W latach 1323-40 zbudowali oni murowany zamek, usytuowany na stromym cyplu, otoczonym z trzech stron przez rzekę Wietcisę. Zamek stanowił wydłużone, nieregularne założenie, składające się z właściwego domu mieszkalnego poprzedzonego dziedzińcem, oraz gospodarczego podzamcza od północy. Dom mieszkalny miał wymiary 14 x 36 m i do jego wschodniego krańca północnej elewacji przylegała wieża. Brama wjazdowa znajdowała się w południowo-wschodniej części cypla, w murze kurtynowym oddzielającym zamek od miasta. W 1433 roku zamek został zniszczony przez husytów. W trakcie odbudowy dostawiono drugą wieżę do domu mieszkalnego. Po roku 1466, w okresie przynależności do Prus Królewskich, na zamku umieszczono starostwo grodowe i sąd grodzki. W latach 1655-60 zamek został zniszczony przez Szwedów i następnie odbudowany w latach 1664-1705.

         Po rozbiorach, Prusacy zaczęli stopniowo rozbierać mury zamkowe. W XIX wieku rozebrano główny dom zamkowy. Do dziś zachował się jedynie budynek podzamcza, w którym obecnie mieści się Gminny Ośrodek Kultury.  

         Skarszewy są położone 45 km na południe od Gdańska i 22 km na zachód od Tczewa przy drodze nr 224. Zamek znajduje się w centrum miasta tuż przy Rynku Głównym.

         Zdjęcia wykonano w październiku 2004 roku.