Murowaną siedzibę gdańskiego komtura zaczęto wznosić w roku 1340 lub 1343. Powstała ona na miejscu wczesnośredniowiecznego grodu książąt pomorskich, który Krzyżacy zdobyli i zniszczyli w roku 1308.
Zamek zbudowano w widłach Motławy i Wisły w rejonie dzisiejszych ulic: Grodzkiej, Rycerskiej, Wartkiej i Czopowej. W 1454 roku mieszczanie gdańscy zdobyli zamek i szybko go rozebrali. Prawdopodobnie była to czworoboczna i czteroskrzydłowa budowla z wysoką wieżą i wjazdem od strony ulicy Czopowej. Od północy i zachodu do zamku przylegało przedzamcze otoczone fosą. Z dawnego zamku zachował się jedynie fragment murów i baszta, obecnie kamienica mieszkalna, od strony ulicy Wartkiej. Przypuszczalnie baszta “Łabędź” stojąca na Targu Rybnym powstała na fundamentach jednej z wież przedzamcza. Trudno dziś ocenić jak wyglądało rozplanowanie budowli, być może ujawnią to prace wykopaliskowe rozpoczęte w 2004 roku. Resztki zamku położone są nad Motławą na północ od starówki, przy ulicy Wartkiej.
Zdjęcia wykonano w maju 2005 roku.
Nowe zdjęcia wykonano w styczniu 2017 roku