Na Górnym Przedmieściu, czyli w miejscu obecnego nowego ratusza funkcjonował cmentarz otaczający istniejący tam kościół św. Krzyża. Pierwsze wzmianki o tej nekropolii pochodzą z 1582 r. Od czasów porozbiorowych, kiedy w Olsztynie zaczęła się powiększać gmina ewangelicka, cmentarz ten posiadał wydzieloną część dla ewangelików. Kościół św. Krzyża z powodu bardzo złego stanu technicznego został rozebrany w 1803 r., natomiast cmentarz zamknięto w 1870 r. Jego zamknięcie wymusiła konieczność poszerzania granic rozwijającego się miasta. W 1870 roku dokonano założenia katolickiego cmentarza św. Jakuba, przy obecnej ulicy Wojska Polskiego, na posesji zwanej Aachen Plan. Powierzchnia cmentarza wynosi obecnie 2,6 ha. Kwatery są rozdzielone alejami, które są obsadzone liczącymi już ponad sto lat klonami i lipami. Na cmentarzu tym znajduje się wykonany w stylu neogotyckim najstarszy istniejący olsztyński nagrobek Adolfa i Olimpii Schlimphów z 1848 r., przeniesiony z likwidowanego cmentarza św. Krzyża. Cmentarz w 1984 roku został wpisany do rejestru zabytków. W 1881 r. na cmentarzu wybudowano kaplicę (obecna parafia polsko-katolicka Matki Boskiej Wniebowziętej). Znajdująca się tu ambona i ołtarz pochodzą z opuszczonego kościoła poewangelickiego w Biskupcu Pomorskim. Świątynia usytuowana jest na niedużym wzniesieniu i ściśle przylega do wspomnianego już cmentarza. Sama kaplica jest niewielkich rozmiarów, zbudowana na planie prostokąta, z dwuspadowym dachem.
W 1904 cała nekropolia była wypełniona nagrobkami, w związku z tym parafian kościoła św. Jakuba zaczęto chować na cmentarzu św. Józefa, a tu dokonywano tylko dochowań do już istniejących grobów. Ostatecznie cmentarz św. Jakuba zamknięto w 1962, a w 1984 został on wpisany do rejestru zabytków.
