燕军最近的处境愈发艰难，粮食和草料几次遭到焚烧，城中完整的房屋也没有几座了，幽州百姓的日子更加凄惨。史思明倒是不关心这些百姓的生死，他是担心军心不稳将士在城墙上不再用命。从前日开始士气已经低落到了极点。
有几名幕僚看穿了史思明的心思，主动在军中会议中向他提出将大军撤退到榆关以西，被史思明挥手否决。他们当然不会就此中断，只是更加殷勤地劝他动身退往辽东。
只是史思明心中明白，当初安庆绪守邺城的时候还有援军可盼，现在轮到他自己守幽州，恐怕就只能靠他自己了，至于南面的李亨朝廷……
他捋着胡须点了点头，辽东和河北完全是两个地理概念，他史思明一退入辽东，朝廷怎么会甘心让李嗣业尽占河北。郭子仪定会带兵进入邺城，到时候就轮到他史思明在旁边坐山观虎斗，他倒要看看李嗣业大军的战斗力到底有多持久，干跑了他还能把朝廷的军队干倒，到时候他还要再次入关内，再次挑战一下已经疲惫的李嗣业大军。
他把诸将召集到跟前来，无奈地摆摆手说道：“如今李嗣业携利器攻城，城中军士百姓都损失惨重，怕是已经难以坚守下去。多日来你们都劝我弃城遁入榆关。今日我思虑再三，决定撤入榆关背后坚守。”
众将心中都松了一口气，连着两个月的守城早已使他们疲惫不堪，能躲到榆关后面休整一下也是好的。
元朔五年秋，正是李豫的大历元年。凌晨时分，史思明率领仅存的五万余人从北门撤出，一路奔至榆关，中途面对唐军在后方的追击，气喘吁吁疲惫不堪，等撤到榆关时又损失了近万人，只剩下四万余人。
他进入关中立刻手持皮鞭跑去找史朝义，父子见面时，史思明一个照面鞭子就朝着头上砸了过去，史朝义痛得抱头鼠窜，大声呼唤父亲饶命。史思明才不管他，提着鞭子一顿猛抽，直把史朝义打了个遍体鳞伤才罢休。