第二天，汉武帝从长安启程赴雍地祠五畤，然后一路向东北而行，从夏阳渡过黄河抵达汾阴。河东太守没想到汉武帝突然出现在河东境内，什么都没有准备好，慌乱之下，悬梁自尽。
河东太守的自杀，在当地引发了一场热议。有人说是他做下了亏心事，担心被朝廷清算，畏罪自杀；也有人说他是害怕被汉武帝责罚，以死谢罪。总之，莫衷一是，众说纷纭。
汉武帝知道后，微微一笑，自嘲道：“朕有这么可怕吗？”随后下令由随行的吾丘寿王代行河东太守职，主持修建后土祠。
早就有意出镇地方的吾丘寿王非常兴奋，以最短的时间在汾阴筑起了一座祭坛。十一月初八，汉武帝亲自祭祀了后土祠，礼仪和祭祀天帝一样。自此以后，汉武帝常来汾阴祭祀后土。
祭祀结束后，短暂休整几日，汉武帝没有返回长安，继续向东而行。刚走出安邑不过数十里，汉武帝蓦然发现吾丘寿王竟不在随行之列，不由得问道：“吾丘寿王呢？”
“回陛下，吾丘侍中留在了安邑。”驾车的霍光回答道。
“他留在安邑干什么？”汉武帝有点懵。
霍光一愣，回答道：“陛下不是将他任命为河东太守吗？”
“胡闹！朕只是让他暂时代理，没有正式任命。”汉武帝啼笑皆非，吩咐随行的李陵道：“你去跑一趟，告诉吾丘寿王，河东太守另有安排，让他回到朕身边。”李陵应声而出。
一天之后，吾丘寿王和李陵赶上了汉武帝的车驾。汉武帝笑骂道：“吾丘寿王，你就这么不喜欢呆在朕身边吗？”
“臣不敢，臣一时没听明白陛下的意思，请陛下责罚。”吾丘寿王惶恐道。
“你呀，朕用习惯了，还是留在朕身边吧。”汉武帝身边侍中虽多，但大多是武人，吾丘寿王这样经验丰富的文士必不可少。