某一日，钩弋夫人随口笑道：“你们卫家可是了不得，外朝有丞相，内朝有霍君，皇上面前的红人全让你们占尽了。”
霍光听后，不由得出了一身冷汗。他早看出了钩弋夫人的勃勃野心，但她的话着实令他恐惧。因为在她的眼中，自己是霍去病的弟弟，断然是卫太子一方的人了。多年来，他努力，不偏向任何一方，甚至婉拒皇后、太子的多番好意，目的就是想在宫廷争斗中独善其身。他早看出了皇帝对太子的不满，当然要跟卫氏保持距离，他也早觉察到了皇帝对幼子刘弗陵的钟爱，理所当然地对其母钩弋夫人表示尊敬。然而事实证明，多年来的努力还是改变不了血缘纽带，尽管他只是霍去病同父异母的弟弟，跟姓卫的并没有直接关系。然而到了这种时候，他要自保，就必须得站到太子一方。
恰好机会就来了。这一日刘彻和钩弋夫人坐在建章宫中，看着宠臣金日磾的两个孩子和刘弗陵玩耍。三个孩子肆无忌惮，追逐中一齐攀到皇帝背上。钩弋夫人很是不满，厉声斥责，金日磾惶恐不已，刘彻却没有计较。几日后，皇帝得知金日磾竟然自己杀了两个亲生孩子［1］，很是诧异，问霍光原因。霍光支吾道：“嗯，这个……不好说。”
刘彻立即明白过来，道：“难道是钩弋夫人不喜么？”霍光只是不应，他这种反应令刘彻更加深信自己的判断，见后妃居然能令外廷大臣畏不敢言，当即怒“哼”了一声。
虽然皇帝并未因此事训斥责罚钩弋夫人，但霍光知道芥蒂已经在皇帝心中种下了，在合适的时候，它就会生根发芽长出来。
然而，还不等霍光再次寻到机会，京师发生了巫蛊案，卫太子一方急遽失势。
最先卷入的是丞相公孙贺。公孙贺的儿子公孙敬声骄奢**，挥霍无度，曾经私自挪用北军军费一千九百余万。案发，公孙敬声被逮捕下狱。公孙贺知道皇帝痛恨横行京师的长安大侠朱安世，遂主动请命逐捕朱安世为儿子赎罪。他四下散布消息，称朱安世就是当年向官府告发关东大侠郭解藏身在李延年家的人，朱安世在民间的侠义名声遂败，不久后即被公孙贺属吏捕捉，刘彻便下旨赦免了公孙敬声。不料朱安世却是临死也要拉个垫背的，居然设法从廷尉狱中上书，向皇帝告发了三件事：一是公孙敬声与皇帝的女儿阳石公主通奸；二是公孙贺曾暗中庇护公孙敖，助他逃脱死罪；三是公孙贺本就是匈奴内奸，心怀不轨，一直暗中用巫蛊之术诅咒皇帝。