Расположено в северо-восточной части горы Рудольфа, граничит с национальными некрополями - еврейским и караимским. Возникло сразу после основания Севастополя. В 1822 году на территории кладбища была построена церковь во имя Всех Святых, в 1905 и 1910 годах сооружены две часовни: во имя Св. Дмитрия и Св. Николая. Территория кладбища 20,51 гектара. В период осады Севастополя 1854-1855 годов кладбище и храм были захвачены французами и турками, построившими там свои укрепления.

В ряде источников это место называется Кладбищенской высотой. Как выглядело кладбище в то время, известно благодаря английскому художнику-графику Вильяму Симпсону, опубликовавшему в 1855 году в Лондоне выполненную им с натуры зарисовку.

В период обороны Севастополя 1941-1942 годов у западной стены кладбища в братских могилах производились захоронения погибших и умерших от ран защитников города. В основном там хоронили умерших в 47-м медсанбате 25-й Чапаевской дивизии Приморской армии. В 1989-1992 годах территория 43 братских могил была благоустроена по проекту архитекторов Г.Г. Кузьминского, А.С. Гладкова, скульптора С.А. Чижа.
На старом городском кладбище похоронены: профессор А.Е. Щербак, профессор В.С. Ивлев, заслуженный артист Крымской АССР, в 1935-1954 годах главный режиссёр Севастопольского русского драматического театра им. А.В. Луначарского - Б.А. Бертельс, легендарный эпроновец Ф.А. Шпакович, профессор Н.В. Морозова-Водяницкая, художник М.Н. Протопопов, командующий авиацией Черноморского флота П.С. Сорокин, народоволец Л.В. Шор...
В ходе исследования на старом городском кладбище выявлено более 10 тысяч захоронений, хотя их, безусловно, было гораздо больше.
Закрыт некрополь 1 апреля 1969 года.

Расположение трёх сохранившихся исторических некрополей (православного, иудейского и караимского) исторически сложилось в единый комплексный некрополь. Это достаточно редкое явление предполагает создание заповедной территории для сохранения этого уникального комплекса -составной части культурно-исторического наследия города.