Źródła historyczne potwierdzają funkcjonowanie w okolicy szpitala i kaplicy św. Jerzego. W tym zlokalizowanym na obrzeżach ówczesnego Gdańska przytułku zajmowano się trędowatymi i biedotą. Rozwój portowy rozwojem, ale w średniowiecznym Gdańsku tzw. osób wykluczonych nie brakowało. W 1464 roku przytułek rozwiązano, a teren przekazano ojcom karmelitom przeniesionym tu z obszaru zlikwidowanego Młodego Miasta.
Planowano budowę znacznie większej świątyni
Budowę świątyni przeprowadzono w latach 1482-96, zamierzano wzniesienie znacznie większego kościoła, jego niedoszły zachodni zasięg wyznacza samotnie stercząca brama czyli planowane wejście główne. Z racji ograniczonych funduszy z ambitnych planów zrezygnowano, za to efektowanie zaaranżowano elewację przebiterium, tam efektowne szczyty flankowane przez dwie wieżyczki.
Świątynia funkcjonowała pod rozbudowanym wezwaniem Bożej Rodzicielki Panny Maryi oraz Świętych Założycieli Eliasza i Elizeusza, te dwie ostatnie postacie szczególnie ważne dla karmelickiej duchowości.
Gdańscy karmelici poważnie odczuli reformacyjne zawirowania. Klasztor raz po raz dewastowano, a niektórzy bracia ewidentnie poluzowali więzy klasztornej dyscypliny. W latach sześćdziesiątych XVI wieku w klasztorze ostało się zaledwie dwóch mnichów.
Karmelici trudne chwile przeżyli w 1577 roku, gdy rozwścieczony motłoch gdański splądrował klasztorne dobra i kościelne wnętrza. Taki był efekt konfliktu między miastem a królem Stefanem Batorym, niestety gdańszczanie zbyt łatwo nieporozumienia polityczne przenosili na płaszczyznę różnic wyznananiowych. Ostatecznie konflikt zakończył się kompromisowym porozumieniem, król m.in. zasądził na rzecz karmelickiego klasztoru spore odszkodowanie. Miasto z tego zobowiązania wywiązało się… pięćdziesiąt lat później, dopiero w 1623 roku!
W XVII stuleciu sytuacja gdańskich karmelitów ustabilizowała się, ale w 1678 roku ponownie padli ofiarą protestanckiej dewastacji. Gdańscy luteranie, podburzeni wyjątkowym talentem oratorskim Idziego Straucha, zniszczyli klasztorne wnętrza. Sprawa oparła się o Sejm Rzeczypospolitej, nie obyło się też bez sporych odszkodowań.
Kolejne dewastacje miały miejsce w epoce wojen napoleńskich, podczas dwóch (1807 i 1813) oblężeń Gdańska. Teren klasztorny wykorzystywano wtedy w roli lazaretu.
Gdański kościół św. Józefa jest też określany jako Sanktuarium Ofiar Nieludzkich Systemów
W 1823 roku władze pruskie podjęły decyzję o przeprowadzeniu kasaty klasztoru, od tej pory świątynia (już bez karmelitów) pełniła funkcje parafialne, kilkanaście lat później (1840) wprowadzono wezwanie św. Józefa. W okresie Wolnego Miasta Gdańska (1920-39) był to jeden z najważniejszych gdańskich kościołów parafialnych. Niektóre elementy wyposażenia tej świątyni zostały przekazane (pięć ołtarzy z XVIII wieku) do kościoła św. Antoniego w Brzeźnie.
Dramatyczne wydarzenia rozegrały się wiosną 1945 roku. Wedle relacji ks. Kleina kościół został podpalony przez żołnierzy Armii Czerwonej. Wewnątrz żywcem spłonęło kilkudziesięciu cywili.
Po wojnie świątynię objęli Misjonarze Oblaci Maryi Niepokalanej, zakonnicy kontynuowali podjęte krótko wcześniej dzieło odbudowy. W 1964 roku dekretem bp Edmunda Nowickiego w opisywanej świątyni ustanowiono Wieczystą Adorację Najświętszego Sakramentu, w specjalnie zaaranżowanej kaplicy ojcowie oblaci codziennie pełnią też wielogodzinną posługę spowiedzi św.
W marcu 2000 roku wewnątrz świątyni odsłonięto upamiętnienie ofiar „wyzwolenia” z 1945 r. Od tej pory świątynia określana jest jako Sanktuarium Ofiar Nieludzkich Systemów.
Z dawnego wyposażenia niewiele przetrwało. Warto zwrócić uwagę na dwa XVIII-wieczne ołtarze w kaplicy przy przebiterium. W kaplicy spowiedniej ciekawie prezentują się rokokowe konfesjonały, widoczne też uszkodzone pożarem epitafium Jana Jakuba Potulickiego, w latach 1710-1726 piastował funkcję wojewody brzeskiego.
