Budowę kościoła św. Józefa oraz klasztoru rozpoczęto w 1467 roku z fundacji zakonu karmelitów. Trwała ona z przerwami aż do XVII wieku. Pierwszym elementem wznoszonego kościoła stało się szerokie, okazałe wejście. Ambitne plany z przyczyn finansowych nie zostały zrealizowane – do dnia dzisiejszego brama stoi samotnie przy ul. Elżbietańskiej.
Powstało wówczas jedynie jednonawowe, pięknie sklepione prezbiterium, o rozmiarach 31×15 metrów i wysokości do szczytu sklepienia ok. 19 metrów, a dopiero w 1623 roku dobudowano zachodni korpus świątyni. Szeroki na 30 merów korpus kościoła miał mieć trzy nawy, z których zrealizowano tylko północną. Zwieńczoną bogatym pilastrowo – wnękowym szczytem ścianę wschodnią flankowały przykryte spiczastymi hełmami wieżyczki. Trzecią wieżyczkę (dziś nie istnieje) postawiono na dachu, w pobliżu prostszego w rysunku szczytu zachodniego. Obok prezbiterium powstała sklepiona zakrystia. Z planowanego klasztoru zrealizowano tylko krużganek wschodni, oraz mały i duży refektarz. Główną przyczyną trudności materialnych, które nie pozwoliły na dokończenie budowy w Gdańsku były konflikty społeczne i polityczne, krach finansów miejskich i wzrost nastrojów antyklerykalnych w przededniu reformacji. W 1663 roku świątynia była częściowo zniszczona przez pożar, lecz wkrótce ją odbudowano. W latach 1663–83 kościół został zdewastowany przez protestantów. Następne odnowienie i rozbudowa kościoła oraz klasztoru doprowadziły świątynię do stanu obecnego. Jednocześnie wystrój wewnętrzny został zmieniony na barokowy. Burzliwy przebieg reformacji gdańskiej sprawił, że kościół św. Józefa był jedną z zaledwie trzech miejskich świątyń, w których odprawiano nabożeństwa katolickie. Podczas wojen napoleońskich mieścił się tu lazaret, kolejnym utrapieniem były władze pruskie, które doprowadziły zabytkową świątynię do ruiny. W 1835 roku przeprowadzono likwidację klasztoru, pięć lat później kościół przekazano księżom diecezjalnym.
Wyzwolenie miasta w 1945 roku nie przyniosło świątyni większych zniszczeń. Dopiero 27 marca 1945 żołnierze Armii Czerwonej, nie szanując prawa azylu w kościele, gdzie schroniło się ponad 100 osób, wtoczyli i podpalili beczki z płynem zapalającym; wraz z kościołem spłonęli ludzie szukający w nim schronienia.
Po zakończeniu działań wojennych świątynię wraz z zachowanymi budynkami poklasztornymi objęli księża oblaci. Z dawnego wyposażenia ocalał ołtarz barokowy z 1730 roku, chrzcielnica z 1750 roku (w kaplicy) oraz rokokowy konfesjonał z 2 połowy XVIII wieku. Do kościoła przylega dwunawowa kaplica, ze sklepieniem wspartym na dwóch kolumnach w której przez cały dzień odbywa się adoracja Najświętszego Sakramentu, w czasie której można też skorzystać z sakramentu pojednania. W części klasztoru od ul. Elżbietańskiej swoją siedzibą ma bank.
Kościół św. Józefa jest położony za multikinem”Krewetka”, niedaleko dworca głównego. Otaczają go ulice : Elżbietańska, Bielańska i Podbielańska.
Zdjęcia wykonano w maju 2009 roku.
Nowe zdjęcia wykonano w marcu 2019 roku.
Nowe zdjęcia wykonano w grudniu 2019 roku.
Nowe zdjęcia wykonano w listopadzie 2021 roku.