За годы безвластия в Германии сложилось целое сословие рыцарей, занимавшихся грабежом беззащитного населения. Они строили свои замки на скалах или в других труднодоступных местах и оттуда нападали на поселян и купцов. Король начал против них войну, прежде всего в Швабии и Тюрингии, где его власть была более прочной. Он сам разъезжал по Германии и разрушал разбойничьи замки. Например, в Тюрингии при нем было взято 66 таких замков и повешено 29 знатных разбойников. Однако в деле обеспечения спокойствия и безопасности в Германии Рудольфу I не удалось достичь многого. Он неоднократно объявлял о введении «земского мира» на территории отдельных племенных герцогств или всей Германии, однако нехватка военных и материальных ресурсов, а также особой энергичности в осуществлении собственных решений, не позволяла ему сломить непокорных немецких князей. Концентрация Рудольфа I на интересах своей семьи и создании Австрийской монархии Габсбургов привела к тому, что для Германии в целом его правление не имело значительного позитивного эффекта. Корыстные стремления Рудольфа понемногу оттолкнули от него всех, и недоверие к нему стало всеобщим. В 1291 году Рудольф I попытался еще при жизни обеспечить избрание королем Германии своего сына Альбрехта I, однако немецкие князья, опасаясь усиления Габсбургов, отказались это сделать.
Последние годы жизни Рудольф провел в Вене и Шпайере. С годами он становился все более набожным и сентиментальным. Страдая от артрита, король, ожидая скорой кончины, летом 1291 года отправился в Шпайер, место успокоения королей и императоров Франконского дома. Он мечтал быть похороненным в кафедральной императорской крипте: «Я хочу к другим, в Шпайер, где лежит много моих предшественников, которые также были королями. Сам к ним приеду на коне». Силы покинули его прежде, чем он достиг города, и 15 июля 1291 года он умер в местечке Гермерсхайм. Согласно его желанию, он был похоронен в соборе Шпайера. Надгробие Рудольфа I – наиболее достоверное из дошедших до нас изображений первого габсбургского короля, представляет собой статую пожилого человека в королевском одеянии, с вытянутым лицом, крупным носом и глубокими складками у рта, придающими ему печальное, если не сказать, скорбное выражение. Длинное лицо и большой нос – родовые черты Габсбургов, которые будут передаваться из поколения в поколение.
Несмотря на все усилия Рудольфа, путь Габсбургов наверх не был ни легким, ни быстрым. Его сыну Альбрехту пришлось ждать после смерти отца целых семь лет, пока он занял римско-германский трон. Правда, после того как вымерли все Пржемысловичи, ему удалось посадить на чешский трон своего сына Рудольфа, однако это был всего лишь короткий, меньше года длившийся эпизод, сопровождавшийся к тому же постоянными столкновениями с оппозиционной знатью. Альбрехт, впрочем, пытался во что бы то ни стало спасти чешский трон для своего рода, однако прежде чем ему удалось набрать необходимое войско, он был убит собственным племянником. Это единственное убийство внутри