作为李渊父子的发迹之地，竟然旦夕之间陷落，李渊禁不住惊呼：“晋阳强兵数万，食支十年，兴王之基，一旦弃之。”
十月，宋金刚攻陷晋州后，李渊方寸大乱，发出了放弃河东之地，坚守关中平原的战略。
秦王李世民和李靖、房玄龄、杜如晦等人商量后，觉得这样不妥，于是劝谏李世民上书李渊，坚决出兵，收复失地。
李世民于是上表说：“太原，王业所基，国之根本；河东殷实，京邑所资，若举而弃之，臣窃愤恨。愿假臣精兵三万，必冀平殄武周，克复汾、晋。”
李渊同意了李世民的建议，命他再次出征，并且亲自送行到长春宫。
十一月，正是隆冬季节，天寒地冻，黄河上结了厚厚的一层冰，足有一尺厚，人马可以在冰上渡河。于是，李世民帅军在龙门渡河，扎营于柏壁（今山西新绛西南），并同固守绛州的唐军形成犄角之势，进逼宋金刚军。
当时黄河以东的州县遭抢劫后，没有粮仓，老百姓惧怕侵扰，纷纷聚居在城堡中，大军征集不到东西，军队缺粮。
李世民发布公告晓谕百姓，百姓听说李世民率军前来，纷纷前来归顺，由近及远，络绎不绝。随着归附的老百姓越来越多，唐军逐渐也能征集到粮食了，军粮因此充足。
李世民和李靖商量之后，仍然决定坚守不出，于是休兵喂马，不时派出小股骑兵四处袭扰宋金刚大军的后勤运输队伍，大军则深沟壁垒，养精蓄锐，坚壁不战。
曾经有一次，李世民亲自带轻骑兵去侦察敌情，随从的骑兵四下分散，李世民只和一名穿铠甲的士卒登上山丘，他们见四下里没有人，李世民感到有些瞌睡，于是就躺在草地上睡觉。
不久，宋金刚的士卒就发现了李世民这支小股部队，于是就派骑兵从四下里包围了二人，开始两人毫无知觉，继续鼾声如雷。