但是好景不长，没几年李夫人重病离世。
李夫人因年少早死，汉武帝十分怜闵她，总觉得对其有愧疚之心，于是就将他的兄长李广利封海西侯，李延年为协律都尉。
但后来这个李广利，却让大汉的威严扫地。
汉武帝曾多次派李广利挂帅远征，但得到的结果多是大败。
最后一次李广利带领着大汉最精锐的七万大军与匈奴决战，按说当时的匈奴早已被卫青、霍去病打的不复往日风光。
但还是因为李广利的错误指挥，导致全军覆没，李广利更是见大事不妙，转身投降了匈奴。
这次战败让大汉元气大伤，汉武帝也因此不得不下了轮台罪己诏，暂停了对匈奴的战争。
之后李广利在匈奴呆了一年多后被杀害，这个“草包将军”的一生也就这样结束了。
回顾李广利的一生，他因为自己妹妹而得到皇帝恩宠并加以重用，但他的无能，也让大汉王朝蒙羞，让一生好胜的汉武帝丢尽了颜面。
最后一个女人是钩戈夫人。
钩弋夫人本命叫做赵婕妤。
传说，赵氏自从出生就一直紧握双手，从看见武帝之后才松手，手中有一个玉勾，所以才称为“钩弋夫人”。
还有人们说钩弋夫人跟李夫人长得非常像，所以得到武帝的宠幸。
后来，钩弋夫人给刘彻生下了一个儿子，名为刘弗陵，也就是汉昭帝。
但是后来汉武帝立刘弗陵为太子，确立了下一代继承人，但是却把钩戈夫人赐死了，这是为什么呢，立了她的儿子为太子，为什么又要把钩戈夫人赐死。
这和汉武帝童年有很大的影响。
在汉武帝幼年到成为皇帝前期，都没什么权利，因为大权都在当时的窦太皇太后以及王太后手中。
他对吕雉专权的印象十分深刻，而且自己登上皇帝宝座的路程也十分艰苦，而且坐上这个位置后，还什么权利都没有。