Obiekt został zbudowany na fundamentach krzyżackiej Baszty Rybackiej, która wzmacniała południowo-wschodni narożnik zamkowych fortyfikacji i przy okazji przypominała mieszczanom o zakonnej zwierzchności nad miastem.
Przebudowa Baszty Łabędź
Po obaleniu krzyżackiego panowania basztę przebudowano, szybko wzniesiono cylindryczną wieżę z płaskim ścięciem od zachodniej strony. Nowy obiekt bronił dostępu do miasta od strony zamku, krzyżacka forteca została co prawda rozebrana, ale przezorni gdańszczanie szukali dodatkowego zabezpieczenia. Z baszty kontrolowano też ruch statków w gdańskim porcie. Obiekt dostosowano do wykorzystania artylerii.
W XVII wieku baszta ostatecznie utraciła obronne znaczenie, dlatego władze miasta zezwoliły na obudowanie wieży ciasnym pierścieniem kamienic. Na dobre utarła się też handlowa tradycja okolicy, tu przez wiele wieków sprzedawano ryby w zdumiewająco szerokim asortymencie.
Pod koniec II wojny światowej zniszczeniu uległa oplatająca wieżę zabudowa, odtworzenia kamienic zaniechano, a samą basztę odbudowano w kształcie z początku XVI stulecia. Wewnątrz funkcjonuje Polski Klub Morski. Zbudowany w pobliżu hotel Hilton nieco rozczarowuje architekturą, jakby w rewanżu baszta zasłania hotelowe wejście.
