Świątynia powstała w XIV wieku dla duszpasterskiej obsługi okolicznej ludności. Budowę zainicjowali i sfinansowali cystersi, ich reguła nie pozwalała na dopuszczanie wiernych do wnętrz klasztornego kościoła. Przy świątyni założono cmentarz, na którym w 1308 roku pochowano ofiary krzyżackiej „odsieczy”.
Kościół św. Jakuba ucierpiał podczas wojny Gdańska z Rzeczpospolitą
Skromny kościół poważnie ucierpiał podczas zmagań między Rzeczpospolitą a zbuntowanym Gdańskiem, w 1577 roku klasztorne posiadłości zostały zdewastowane przez rozwścieczonych mieszczan. Do odbudowy przystąpiono kilkanaście lat później (1591), prace budowlane wykonano niestarannie, bo w roku 1637 pośpiesznie naprawiano zagrożone zawaleniem mury kościoła. Na początku XVIII stulecia dobudowano wieżę, na jej szczycie zobaczyć można wiatrowskaz z datą 1709.
W 1833 roku zmienił się gospodarz świątyni, w związku z likwidacją cysterskiego opactwa kościół poklasztorny objęli katoliccy księża diecezjalni, a w kościele św. Jakuba zaczęto odprawiać nabożeństwa luterańskie. Protestanci prowadzili świątynię do 1920 roku, wtedy w pobliżu zakończono budowę kościoła Pojednania (Versöhnungkirche) przy obecnej ulicy Leśnej. Od 1946 roku świątynia św. Jakuba jako tzw. kościół rektorski rektoralny należy do parafii Trójcy Świętej.
Oliwski kościół św. Jakuba zaskakuje niewielkimi rozmiarami
Kościół zaskakuje niewielkimi rozmiarami, długość świątyni wynosi zaledwie 28 metrów. W szczycie wschodnim widoczny kartusz herbowy z czasów opata Jacka Rybińskiego.
Z dawnego wyposażenia zachowały się rokokowe elementy wystroju: ambona, konfesjonał i bogato zdobiony ołtarz. W górnej części ołtarza obraz Zmartwychwstania, po bokach widoczne figury Adama i Ewy. Warto też zwrócić uwagę na płyty nagrobne, jedna z nich upamiętnia Johanna van der Linde, zmarłego w 1646 roku pułkownika wojsk królewskich.
Niewielki kościółek odgrywa ważną rolę w duchowym życiu Gdańska, w odprawianych tu o godz. 20.00 niedzielnych mszach św. chętnie uczestniczy trójmiejska młodzież akademicka.
W pobliżu opisywanej świątyni znajduje się Katedra Oliwska ze słynnym instrumentem organowym. Nieco dalej Park Oliwski – uznawany na najładniejsze tego rodzaju miejsce w Gdańsku.
