1161年九月，完颜亮下令大举攻宋，亲率大军六十万，号称百万，分四路水陆并进。一路自大散关入侵川陕，一路进攻光化军，一路水师，自东部沿海南下。主攻部队则由完颜亮亲自统率，自汴京南下，经淮阴、信阳，渡淮河而南，欲直取临安。
南宋建康府都统制王权，正屯兵在昭关（现安徽含山县小岘山），此地两山相峙，乃战略要冲。可王权闻金军将至，竟然不战而走。
消息传至宋廷，赵构大惊，急忙派知枢密院事叶义问前往督视长江军马。
中书舍人，权直学士院虞允文做为参谋军事，随同叶义问一同前往建康犒师。
此时宋军主力刘锜部，却被先行进攻光化军的萧琦部所迷惑，率大军直驱淮阴阻击金军。
萧琦所部实是牵制之军，进攻滁州，直逼扬州，欲截刘锜之后，以防刘锜回军来攻。
萧琦攻占滁州之后，便长驱南下，如入无人之境。
刘锜闻讯大惊，急忙率军而回，退守镇江一线。
此时南宋的江淮防线已然陷入全线崩溃的状态。
十月下旬，完颜亮麾军攻取和州（现安徽和县）直趋采石矶（现安徽马鞍山市长江东岸）欲从这里的杨林渡渡江。
时赵构罢免了王权，委派李显忠为诸军都统制，代替王权负责建康一带的长江防务。
可是李显忠尚在芜湖。王权罢职回临安，采石矶的驻军一时没有了统帅。
可完颜亮大军已经蜂拥而至，到达了杨林渡。
赶巧虞允文自建康奔赴采石矶犒师，见王权的兵马皆坐于地，无心抗敌。
虞允文的随从见状道：“虞参谋，看来采石已难以据守，咱们速回建康，报告这里的情况吧。”
虞允文略一踌躇，道：“放弃采石，无异于等于放弃了长江天堑。待金兵渡江后，战局益发难以收拾，我得留在这里，号召诸军死守。”