Судя по многочисленным находкам, следы человеческого обитания на территории балки уходят в глубокую древность. В период с III в. до н. э. до IV в. н. э. здесь хоронили своих соплеменников скифы — жители Неаполиса.
Новая история балки начинается с 80-х годов ХIХ в. После того, как гимназисты в учебных целях расчистили одну из пещер на западном склоне, ее занял крестьянин Пашковский, который «приделал к ней двери и, сделав кое-какие приспособления, поселился в ней и там живет». Искусственной пещерой, по свидетельству учителей Симферопольской казенной мужской гимназии, «воспользовался для жилища и сосед его Цыганков». Таких пещер насчитывалось тогда семь. Их обитатели устроили вниз по склону и на дне балки сады и огороды и при рытье плантажа откопали человеческие кости, разную глиняную посуду, наконечники стрел, бусы и другие украшения.

Неподалеку от входа в балку находился с незапамятных времен Петровский фонтан — основной источник снабжения жителей питьевой водой. В 20-х годах ХIХ в. дворянин Зеленков самовольно захватил Петровский фонтан. Городская управа возбудила против него судебный процесс. Дело тянулось несколько лет, доходило до сената и закончилось победой управы только потому, что Зеленков не мог доказать права собственности на эту землю, а управа предоставила документы, свидетельствующие о затратах города на ремонт фонтана.

Осенью 1855 г. в верховье балки были похоронены в братской могиле русские солдаты, павшие в Альминском сражении. Затем появились новые могилы и постепенно образовалось кладбище участников Крымской войны, умерших от ран в Симферополе. В 1869 г. над первой братской могилой была выстроена часовня, а в 1887 г. рядом с ней — мраморный памятник с надписью: «От граждан Симферополя». (Эти сооружения не сохранились.)

Балка получила название Госпитальной; поскольку находилась близ госпиталя, существовавшего в те годы на месте телецентра. В народе ее именовали чаще Собачьей. Это название фигурирует иногда и в документах начала ХХ в. 25 апреля 1903 г. дума приняла решение переименовать балку в Петровскую.

История балки тесно переплетается с борьбой симферопольских подпольщиков против врангелевцев. Здесь 22 апреля 1920 г. состоялось собрание коммунистов и комсомольцев, на повестке которого стоял вопрос: об освобождении арестованных карателями товарищей. Контрразведка белых, узнав об этом через провокатора Акима Ахтырского, окружила собравшихся в балке. Завязалась перестрелка. Лишь части подпольщиков удалось скрыться, остальные попали в руки карателей. После судебного фарса почти все они были повешены на фонарных столбах у здания тюрьмы.

Ныне вся Петровская балка застроена частными домами, живописно прилепившимися к ее склонам.