公元1081年5月21日,亨利四世命手下的士兵驻扎在城外。这些士兵主要来自德意志、波希米亚和北意大利,由义务兵、雇佣兵、步兵、弓箭兵和骑士构成。骑士是当时欧洲的新型超级武器。骑兵的出现主要得益于中国的一项重大发明:马镫。踩着马镫的骑士如虎添翼,双脚踏镫控制战马,向敌人猛冲,腾出双手舞动兵器,将敌人一击毙命,完全不用担心被马甩出去。骑士和他的马皆身披重甲,在战场上所向披靡。可以这么说,骑士就是中世纪的坦克。他们的铁蹄令敌人闻风丧胆。但是亨利四世这一小队人马里骑士的数量却少得可怜。在人数上,亨利四世的讨伐军跟亚拉里克和维蒂吉斯的哥特大军没有任何可比性,甚至还不如贝利撒留的5000名拜占廷军。
亨利四世似乎觉得兵力多寡无关紧要,紧要的是他这个人。一群虾兵蟹将不费吹灰之力便将在玛格丽圣母大教堂主持弥撒的教皇格列高利七世挟持,这一事件让亨利四世信心倍增,他想当然地认为罗马人跟他一样厌弃教皇了。正是这一想当然的想法让他大意轻敌,没有做足应对不利局面的准备。他决意扶植敌对教皇韦伯特以备不时之需,但是没有制定任何围城战略,况且他围城的时机也不对。为了避开罗马城的疟疾季,亨利四世本应该在秋天从德意志动身,而非在冬末动身,在5月21日抵达罗马城。他希望在几周后的圣灵降临节当天加冕为神圣罗马帝国皇帝。他急匆匆地往罗马城赶,似乎是料定罗马人会敞开大门欢迎他。
没过多久,他就意识到自己错了。罗马的皇帝派要么是出于对他的忠心,要么是出于对他从前慷慨解囊的感激之心,纷纷涌出城外支援他,但是绝大多数罗马人都选择站在教皇这边。城门紧闭,城墙之上有重兵把守,守备森严。托斯卡纳藩侯玛蒂尔达也派了一些诺曼人和托斯卡纳人协助守卫罗马城。亨利四世虽受挫,但是仍要强装坚强,他给罗马人写了一封宣言书,语气十分柔和,他在信中装作什么都不知道的样子,抱怨他们不开门迎接准神圣罗马皇帝。他还煞有介事地任命官员和神职人员,甚至还同敌对教皇一起举办过一场圣灵降临节大游行,好似他已经顺利进城了。6月初,他和他的军队收拾行囊离开,放弃围城。