1329 г. при Иване I Калите на Соборной площади на месте нынешней колокольни была возведена белокаменная церковь Иоанна Лествичника. Князь Иван III приказал на её месте возвести каменную башню-дозор. В 1505–1508 гг. была построена колокольня. Итальянский архитектор Бон Фрязин создал ярусное сооружение («восьмерик на восьмерике») высотой около 60 м, завершающееся главой. В первом ярусе был размещён престол древнего храма Иоанна Лествичника. От этого вся колокольня и получила название Иван Великий. Площадь храма – всего 25 кв. м. Первоначально фасады колокольни были покрыты красной краской «под кирпич» и имели белокаменные детали. На самом верху находился караульщик, следивший за приближением врагов. Заметив опасность, он ударял в колокола, а стража разводила подъёмные мосты над рвом и запирала кремлёвские ворота.
При Борисе Годунове в самом начале XVII в. увеличили размеры колокольни, надстроив её высоким барабаном с золочёной главой. В результате высота столпа вместе с крестом достигла 81 м. До верха колокольни вело 329 ступенек. В давние времена путники видели Ивана Великого за 10 вёрст от Москвы.
Позднее к башне пристроили 2 звонницы, на которых было установлено более 20 колоколов. Поэт Ф. Глинка писал: «Гудит, гудит Иван Великий, как бы из глубины веков идущий звон!» В начале XVII в. зодчий Б. Огурцов пристроил к звоннице пятишатровую башню – так называемую Филаретову пристройку.
Архитектура колокольни незатейлива, а эффект величественности достигается за счёт удачных пропорций.
В начале XVIII в. при Петре I один из его ближайших сподвижников и любимцев А. Д. Меншиков решил поставить в Москве башню, которая превосходила бы Ивана Великого. Так появилась Меншикова башня. Её шпиль поднимался выше знаменитой колокольни. Меншикову башню стали в народе называть сестрой Ивана Великого. Простояла она недолго. Во время грозы молния ударила в её огромный шпиль.
На протяжении двух веков колокольня Ивана Великого оставалась самым высоким зданием на Руси. Она объединяла все соборы Московского Кремля в единое целое. А. И. Герцен писал, что она как «часовой, поставленный Годуновым в белой одежде, как рында, в золотой шапке, как князь, сторожит покой кремля».
Ивановская площадь в Кремле была деловым центром Москвы. Здесь располагались приказы (первые центральные органы исполнительной власти), которые занимались государственными и частными делами. Сюда на крыльцо колокольни поднимался дьяк и громко кричал: «Слушай, народ царствующего града!..» Народ ненадолго замолкал, и тогда он оповещал о важных делах в государстве во всю Ивановскую. Дьяк так кричал, что даже позванивали малые колокола на башне. С того времени и повелось выражение: «кричать во всю ивановскую», чтобы все слышали.
В 1812 г. при отступлении из Москвы французы пытались взорвать колокольню, но только незначительно её повредили. В 1814–1815 гг. она была восстановлена с некоторыми изменениями первоначального облика.
В XX в. памятник неоднократно реставрировался. В настоящее время в колокольне