Rumska parafia jest jedna z najstarszych na Pomorzu Gdańskim. Ufundowana przez gdańskiego księcia Mściwoja II, XIII wieczna świątynia o drewnianej konstrukcji usytuowanej na kamiennym podłożu nie przetrwała.
Pierwszy kościół w Rumi powstał w XIII wieku z inicjatywy cystersów, ówczesnych właścicieli tych ziem. Była to najprawdopodobniej konstrukcja drewniana, którą w kolejnych wiekach kilkukrotnie modernizowano.
Zapewne pod koniec XV wieku w miejscu dawnego kościoła stanęła konstrukcja ryglowa z ceglanym prezbiterium w duchu późnogotyckim. Jej pozostałości w postaci trwałych ruin przetrwały po dziś dzień.
Na miejscu dawnej światyni w wieku XV wybudowany został murowany kościół w stylu gotyckim, z którego do dnia dzisiejszego przetrwały fragmenty muru oraz gotyckie prezbiterium obstawione przez nagrobki z XIX – XX w.
Przez całe wieki niewielki kościółek wystarczał miejscowym wiernym. Sytuacja zaczęła się zmieniać mniej więcej w połowie XIX wieku. Liczba mieszkańców stopniowo rosła, stara cysterska świątynia nie była w stanie pomieścić wszystkich parafian.
Na początku XX wieku problem stał się bardzo poważny: ziemie włączone do rumskiej parafii liczyły prawie dwa tysiące wiernych, kościół mógł zaś pomieścić niecałe dwieście osób w ławkach – niewiele więcej, jeżeli doliczyć miejsca stojące. Do tego leciwa konstrukcja była zawilgocona, wierni narzekali też na panujący w jej wnętrzu przenikliwy chłód.
W tej sytuacji budowa nowej świątyni stała się sprawą priorytetową, co wielokrotnie podnosił przede wszystkim ówczesny proboszcz parafii Wojciech Ziemann. W celu realizacji ambitnego zadania rozpoczęto zbiórkę pieniędzy, zaś na początku 1907 roku uruchomiono procedury urzędowe.
Początkowo planowano zbudować nowy kościół dokładnie w tym samym miejscu, co stary. Na takie rozwiązanie nie zgodził się jednak pruski konserwator zabytków, który uznał dotychczasową budowlę za reprezentatywny przykład prowincjonalnego gotyku. W tej sytuacji wierni postanowili zakupić parcelę po drugiej stronie ulicy. Ostatecznie Kościół św. Krzyża konsekrowano uroczyście 19 czerwca 1921 roku.
