Крылов любил, обучал грамоте, прослушивал их уроки музыки, радовался их успехам. Им он и завещал свое имущество и бумаги.
Часть времени Крылов проводил сидя в кресле, просматривая новинки литературы и дымя неизменной сигарой. Модест Андреевич Корф, лицейский приятель Пушкина, в своих воспоминаниях пишет: «В последние годы своей жизни, перестав почти совсем являться в салонах, он делил свое время между Олениным, Ростовцевым и Английским клубом. Но по временам ему случалось оставаться и дома, и тогда, как сам он мне рассказывал, препровождение дня его было самое оригинальное. После обеда он тотчас ложился совсем в постель, как бы на ночь, и, проспав часа три или четыре, читал в постели же часов до 7 или 8 утра, большей частью романы в русских переводах, не заботясь о том, попадется ли ему под руку первая или прямо вторая и т. д. часть. Затем он принимался снова спать, что продолжалось до 2-го часа перед обедом».
За несколько часов до кончины Крылов распорядился разослать по экземпляру своей последней книжки всем, кто помнит его. Книги рассылались в траурном оформлении с надписью: «Приношение. На память об Иване Андреевиче. По желанию. Санкт-Петербург, 1844, 9 ноября, 3/4 8-го утра».
Умер баснописец от пневмонии, а не от переедания и несварения желудка, как гласила молва, им же самим пущенная: в жизни он часто как бы на показ выставлял свое «обжорство», способность поглотить двойной или тройной обед. Вот и перед смертью он якобы винился в том, что слишком много съел гречневой каши. Но в заключении врача, лечившего его, зафиксирована другая причина смерти: «Свидетельство. Дано сие в том, что состоявший на пользовании моем действительный статский советник и кавалер Иван Андреевич Крылов действительно страдал воспалением легких (Pnevmonia nota) и волею божию 9-го сего ноября нынешнего 1844 года помер от паралича в легких. В чем и удостоверяю. С.-Петербург, ноября 11 дня 1844 года. Доктор медицины и коллежский асессор Ф. Геллер».
Похоронили известного баснописца с большими почестями при огромном стечении народа на Тихвинском кладбище Александро-Невской лавры рядом с могилой Н.И. Гнедича.
А на доме № 8 по 1-й линии в 1955 году была установлена мемориальная доска архитектора М.Ф. Егорова со следующим текстом: «В этом доме с 1841 г. жил и в 1844 г. умер великий баснописец Иван Андреевич Крылов». После перестройки дома в 1873 году и капитального ремонта в 1968–1969 годах сохранились балкон с железной решеткой и гранитными кронштейнами, дорические колонны в подъезде, наборный паркет в квартире баснописца.
Известно, что еще в 1845 году пытались увековечить заслуги баснописца памятником: вся Россия была охвачена сбором средств для его возведения. Одним из предложений было установить памятник именно на Васильевском острове, где-нибудь на набережной между Университетом и Академией художеств. Но государь посчитал это место «слишком видным для писателя». Только в 1855 году было получено разрешение на установку памятника работы известного скульптора П.К. Клодта (звери на пьедестале изготовлены по рисункам