却说伪燕党争，相国皇甫照、御史大夫汪谦以为闻人策丢失雍凉，不能阻止汉军东进，又风闻其与潜龙交通，恐其战前生变，欲要公孙霸撤换。而归海卫却认为唯有闻人策可以相敌潜龙，若撤换闻人策，潼关将无人为守，中原将危。
公孙霸虽然对臣下较为宽纵，然也对此心知肚明，知道燕军中尚无人能代替闻人策，只是因为当先形势对于闻人策不利。皇甫照、汪谦等朝中势力庞大，需要兼顾之。于是便令闻人策暂先撤换，命镇北将军公孙鸿代理镇西将军职务，到潼关前线领兵，归海卫为军师辅佐，皇甫照、汪谦等人议论方息。
公孙鸿至湖县燕军军中，传公孙霸诏命，请闻人策移交兵权，闻人策闻知默然良久，遂出营，将兵权剑印等都交出，并上表公孙霸，请求卸甲归隐。
归海卫至军中，亲自执闻人策手，对其密语道：“陛下此番不得已撤换将军，非陛下本意也。请将军自爱，陛下必当再度重用将军。”
闻人策谢道：“吾不能阻止贼军东进，以至于陛下失去长安，已不堪在此领军矣。今已经心如死灰，将归隐山林矣。”
归海卫力劝之，又上表公孙霸为闻人策担保。公孙霸见闻人策辞官表章，不许，召其回洛阳，抚慰道：“卿且体察朕心，早晚还要重用卿，只是此时不便也。望卿能暂受委屈。”
遂令其在洛阳宫中居住，厚赐金帛奉养，闻人策无奈，只得从命。
领英已经率军夺去了潼关，见燕军屯扎湖县，于是也驻军潼关。不数日，哨探报说闻人策被公孙霸召回，公孙鸿代之。领英大喜道：“闻人策若被罢黜，吾军无忧也。今可以进兵。”于是便整顿军马，令前锋大将独孤虎率二万骑进入河南，自率中军六万人随后，以封传车率两万人为后军。
公孙鸿闻知汉军前来，与归海卫商议道：“闻人昭远与贼军潜龙对阵，素来以避敌自守为上，吾以为失却先机，所以连致败退。今贼军前来，吾正好率兵出战，以挫敌兵锋，然后再见机可以破贼也。”