Baszta Łabędź stanęła na fundamentach zniszczonej w 1454 roku przez mieszczan baszty zamkowej. Przypominała ona wyglądem zniszczoną basztę, różnica polegała na zwróceniu kierunku ostrzału w stronę przystani portowej. Dzisiejsze kształty wieży pochodzą z XVI wieku, gdy podwyższono najwyższe piętro oraz poszerzono okna, ułatwiając w ten sposób obserwację portu. W latach późniejszych obiekt stopniowo tracił znaczenie obronne i dlatego opleciony został ciasną zabudową niedużych kamieniczek. W 1945 roku baszta poważnie ucierpiała, natomiast kamieniczki zostały całkowicie zniszczone. W 1967 roku baszta została odbudowana i przekazana na siedzibę Polskiego Klubu Morskiego.

Baszta Łabędź stoi nad Motławą na środku Targu Rybnego.

Zdjęcia wykonano w maju 2009 roku.