这七千骑军中包括了三方面的人马，因此在出发之前杨炎将士兵们进行了重新整编。虞公亮带来的俱甲骑兵虽然有近一半是重新补充的，但论战斗力迮是宋军中最强的，迭锋军山营的一千俱甲骑兵也只剩八百多骑，杨炎将这两军合为一队，为第一营；这些甲俱虽然比铁浮图的铁甲要轻得多，但战马的负重还是要比普通骑军重得多，因此每人都有两匹马，指挥是陈亦超和刘复武。原选锋军的风营和林营的轻骑兵也合为一队，为第二营，指挥是曹勋和高震；原迭锋军火营是配有马皇弩的轻骑射军，共八百人单独为第三营，指挥张荣和张师彦；原来魏胜部下的两千多骑军为第四营，指挥是董成、朱震；原选锋军的雷营和阴营合为第五营，由杨炎亲自辛领，辛弃疾、王世隆、魏昌以及赵月如、赵倩如和她们带来的女兵都被编入了五营中。
赵月如和赵倩如这次来兖州共带了三十个女兵，经过挑选之后只有十二个人合格加入了远袭军。其中有四个原来是她们的宫女，分别叫作绵纹、暗香、梅影、幽萍。她们在宫里跟着赵月如学过一些武技，式以在路正照顾两人的起居。另外八人都是在尚武院中学习过的女子，韩照静、张文珠都在其中，另几人是：石鸾英，余秀琳、幕容红、陈瑛、林雅仙、彭璐也都不是平民家出身，大多都来自武将世家。其实在尚武院上学的女子中不是出身官宦获是富豪之家，很少有来自平民之家的。这是因为只有大户豪族才愿意出钱供女子学武，这在平民家中是不可能的。
远袭军只带了十天的干粮，路上避开大城镇，专走山间、密林以避开人群。晚间休息也不劫火，只吃些干粮，饮些山泉，这一点连赵月如和赵倩如也不例外。不过女兵们到是准备充足，糕饼、点心、糖果等都带了不少，杨炎特许拔给她们一辆大车来装，到是够她们吃的。不过在过夜时只搭三个帐蓬供妆兵休息，其他人包拎杨炎全部都是在地上铺块毛毡睡觉。好在现在是五月下旬，天气炎热，到不寒冷。