《塘沽协议》签订后，29军撤军。
此后的两年里，29军一直驻扎在察哈尔省，当时的察哈尔省，与伪满洲国接壤，也就是抗日前线。
1935年8月，29军军长宋哲元任冀察政务委员会委员长，下辖河北、察哈尔两个省与北平、天津两个市。张自忠任38师师长，兼任察哈尔省主席。
后来担任张自忠参谋处长的张宗衡回忆说，张自忠主察期间，他的精力都用在补训部队方面，各团马匹车辆人员，他都要亲自校点，该淘汰的淘汰，该补充的补充，凡是年轻力壮但身体稍微矮小的士兵，他都要另行编排成队，以求整齐。他对射击、刺杀技术特别看重，所以每个士兵的单兵作战能力都很强。1936年，全师有两个旅换成了捷克式步枪，旧枪补充新增加的两个新兵旅。那时候，因为29军名气很大，老百姓都知道这支部队是抗日英雄，所以察哈尔的强壮年们都以能够入伍为荣。
在美国没有与日本开战前，这时候全世界最好的武器是德国造和捷克造。捷克造轻机枪，曾经在抗日战场上发挥了极大的作用。至今，我们还能在反映抗战的电影中看到捷克式武器的身影。
这时候的38师武器装备焕然一新，每连有捷克式轻机枪四挺，有掷弹筒两门，连长也配了德国造手枪一支。这种手枪在老电影《铁道游击队》、《平原游击队》中经常能够看到，俗名有很多：二十响、盒子炮、自来得二十响、快慢机。这种手枪最多可以连发20颗子弹。
然而，即使这样，38师的武器装备还是远远不如日军的。
中国军队一个连的人数大致与日军一个中队的人数相当，都为150人到180人。38师此时一个连有轻机枪四挺，掷弹筒两门，而日军一个中队有八挺轻机枪，四挺重机枪，九门掷弹筒，另外还装备有迫击炮。还有一些中队装备有马匹和坦克、重炮。