公元1367年十二月上旬，徐达继续进攻元朝，他带领士兵到了济南，元将多尔济投降，密州、蒲台、邹平的元将，先后请降。
徐达决定继续向东略地，命傅友德进攻莱阳，自己带兵返回益都，东攻登、莱二州。
元顺帝见山东形势危急，命中书右丞相伊苏、太尉知院托和齐、中书平章政事呼琳岱、陕西行省左丞相图噜等进军山东，然而诸将都不听从命令。
至正二十八年，公元1368年三月，徐达在基本上占领山东之后，从济宁进攻汴梁，同时派一部分军队经河南永城、归德趋许昌，并命邓愈率襄阳、安陆、江陵之兵北攻河南南阳，策应北征主力作战。三月底，徐达进抵陈桥，元汴梁守将李克彝夜驱军民西遁，元将左君弼率所部投降。徐达进入汴梁后，立即率步骑经中湾西攻洛阳。
四月上旬，徐达军自虎牢关进至洛阳塔儿湾，元将托音率5万元军在洛水以北列阵，被常遇春强行突破，退至陕州。驻守洛阳的元梁王阿哩衮见大势已去，率官民出降。
徐达继续挥兵略取嵩、陕、陈、汝诸州，并命冯国胜率所部进攻潼关。由汴梁退守潼关的元将李思齐和张思道，听说明军又逼近潼关，急忙率领部队西逃。
明军向西连续攻克陇、秦、巩昌、兰州等地，进逼临洮，李思齐末路穷途，只好投降。
徐达命薛显进攻西宁，亲率主力进攻庆阳。
五月初，徐达连续攻下安定、会州、靖宁、隆德，经萧关前往平凉，一方面分兵进驻战略要地延安及泾州，另一方面派张涣率骑兵侦察庆阳的动静。
张思道早在明军攻克临洮时，便留下弟弟张良臣与部将姚军守庆阳，自己则逃往宁夏，结果被库库擒获。张涣派人招降张良臣，张良臣得知其兄被库库治罪，决定降明，但迅即又叛。
徐达下令四面包围庆阳城，张良臣恃险顽抗，并向塞外的库库求救。库库为救庆阳，兵分三路牵制明军，一路攻大同欲下太原，一路攻风翔，一路攻泾州。七月中旬，库库部将哈南下攻原州，致使战局为之大变。