Оскол были посланы воевода князь Иван Солнцев-Засекин, голова Иван Мясной и подьячий Михайло Нечаев. Крепость была возведена под руководством Ивана Никитича Мясного, построившего ранее Тюменский острог и Елецкую крепость. В конце XVI – начале XVII веков крепость Оскол была важным пограничным пунктом.
В 1655 году в своем названии город получил приставку «Старый» для отличия от Нового Оскола, расположенного ниже по течению реки Оскол и называвшегося Царев-Алексеев.
К середине XVII века на юге Русского государства, на путях вторжения крымских и ногайских татар, была выстроена 800-километровая Белгородская черта, укрепленной линией проходившая по территории современных Белгородской, Воронежской, Липецкой и Тамбовской областей. После этого началось активное заселение Оскольского края. В защищенном от татарских набегов районе быстро развивались земледелие, животноводство, промыслы, торговля.
8 января 1780 года был учрежден герб города, представляющий собой воинский щит, разделенный на три части. В верхней части щита – герб Курской губернии, которой принадлежал город. В нижней, разделенной под углом, изображены на красном поле – ружье, на зеленом – соха, «ибо жители суть старинные воины, упражняющиеся в свободное время в хлебопашестве, для чего и военное орудие с орудием тщательного хлебопашца соединены» – говорится в описании герба.
К концу XVIII века Старый Оскол снял боевые доспехи, однако долгое время славные воинские традиции продолжал Старооскольский пехотный полк.
Во второй половине XIX века Старый Оскол был центром сельскохозяйственного уезда. В 1896 году составлен новый план города, определивший его дальнейшую застройку: город имел 38 кварталов, 2 площади, 3 главные улицы: Курская, Белгородская, Воронежская и 28 малых улиц и переулков. Промышленность города была связана с переработкой продукции сельского хозяйства. Работали салотопенные, сыроваренные, мыловаренные, маслобойные, кожевенные заводы.
Развитию промышленности способствовала построенная в конце XIX века железная дорога Елец-Валуйки. К этому времени в городе были гимназии, широкая сеть школ, типография, синематограф, 11 храмов.
В декабре 1917 года в Старом Осколе установлена советская власть. В годы первых пятилеток экономика города развивалась в связи со строительством одной из важнейших железных дорог Москва – Донбасс, а также с исследованием и освоением богатств КМА. В апреле 1923 года многолетний труд увенчался успехом: был поднят первый керн, содержащий железную руду.
Тяжелейшим испытанием для края стали годы Великой Отечественной войны. В городе, начиная с июля 1941 года, велись оборонительные работы. Город был превращен в мощный узел обороны. Несмотря на то, что бои под Старым Осколом носили ожесточенный характер, со 2 июля 1942 года по 5 февраля 1943 года территории города и района находились в зоне оккупации.
Освобождение Старого Оскола и Приосколья проходило в ходе Воронежско-Касторненской наступательной операции. В ожесточённых боях на территории Старооскольского края погибло более 7 тысяч советских воинов. В летопись Великой Отечественной войны навсегда вписан подвиг 17 героев-бронебойщиков 409-го отдельного противотанкового истребительного дивизиона 107-й стрелковой дивизии, вступивших в неравный бой у разъезда Набокино.
5 февраля 1943 года на башне почты старший сержант 107-й стрелковой дивизии Медведев водрузил победное знамя.
Настоящий трудовой подвиг был совершен жителями Курской области, в том числе и Старооскольского района, в дни подготовки к битве на Курской дуге. Силами военнослужащих железнодорожных частей и местного населения железная дорога Старый Оскол-Ржава была построена за 32 дня. Воронежский фронт получил самостоятельную коммуникацию с выходом на Курск-Белгород, что сыграло решающую роль в подготовке наших войск к наступлению в Белгородско-Харьковском направлении.
Старооскольцы внесли свой весомый вклад в приближение Великой Победы. 22 тысячи человек (включая гражданское население и жителей района в географических границах 1941 года и современной территории) отдали свои жизни за Родину. На территории города и района находятся 30 братских могил, которые хранят прах тысяч известных и безызвестных солдат и офицеров Красной Армии, отдавших свою жизнь за свободу страны.
За проявленное мужество, героизм и боевое мастерство 24 старооскольца удостоены звания Героя Советского Союза, 3 стали полными кавалерами орденов Славы.
5 мая 2011 года Президент Российской Федерации подписал Указ № 588 о присвоении городу Старый Оскол почетного звания Российской Федерации «Город воинской славы» за мужество, стойкость и массовый героизм, проявленные защитниками города в борьбе за свободу и независимость Отечества. В ознаменование этого исторического события 10 сентября 2011 года в Старом Осколе на площади Победы была воздвигнута памятная стела.
В 2012 году в честь города воинской славы была заложена подводная лодка Б-262, которой присвоено название «Старый Оскол».
28 августа 2014 года подводная лодка «Старый Оскол» спущена на воду.
Память о героях войны жива и сегодня. В августе 2016 года в Восточном военном округе заступил на боевую службу