纵横接到长安诏令，便命诸将从辽西郡撤军，退至右北平驻守，诸将闻知不解，习甲对麻准、王横、张牧等道：“我军若撤退右北平，则辽西险要尽失，如燕军一旦西进，我军将被动矣。”欲要联名上书纵横，请勿退。张牧道：“王骠骑奉陛下诏命退军，必有道理。我等可遵照军命，勿要违反。”
纵横担心前线诸将一时不能退军，于是又遣幽州长史吴款持自己骠骑大将军印信前往辽西传谕诸将。吴款来至前线，对习甲等诸将道：“陛下以大局计，暂时放弃辽西。今诏命骠骑大将军不可与燕军交兵。你等需奉命行事，如有违反军令者，必按军法。”习甲等才奉命退军。
燕军见汉军不战而退，皆有喜色，于是上报公孙豹，说幽州军退居右北平，忌惮燕军，如再西进，可破幽州军，再夺取右北平也。
公孙霸闻报甚喜，道：“王腾此番果然畏惧朕乎？”于是召集群臣商议，问可再夺取右北平乎？
归海卫力言不可，公孙武、姬超等却言可以，公孙霸一时不能决断，闻人亮遂上奏道：“陛下可差细作探知王腾军中详细，如右北平果然可下，再进攻不迟。”公孙霸从其言，派遣细作潜入幽州，探知汉军部署详细。半月后归报，说王腾驻扎蓟城，有两三万军，右北平共有军马四五万人。渔阳、上谷等地，还有军马两三万人。
公孙霸闻报，心中狐疑道：“右北平驻有重兵，今不可犯。只是王腾在幽州尚有十万军马，足以同朕一战，奈何今不战自退？”便问归海卫，王腾是何意也。
归海卫道：“以臣观之，王腾非不欲同我交战，其退守右北平者，乃奉刘建夏之命也。必是潜龙以为中原初定，不宜再大举兴兵，所以将辽西郡让于我也。”
公孙霸闻言愕然道：“潜龙此意为何？”