但是对于多铎与豪格来说，代善提出的这个问题是要他们的小命，所以他们毫不含糊地说道：“大贝勒，我们已经说过了，王师渡江北撤者约有两三万人，虽然沿路有所损耗，但我们终于把大军带回了徐州，只恨刘泽清、刘良佐不听调度，不然形势绝不会如此恶劣！”
代善是被多铎、豪格气炸了肚子，这次多铎、豪格北逃是把能搜刮的江北清军都搜刮得干干净净，但即使如此他们撤到徐州的时候顶多也就是一万多人，而且几乎都是残兵败将，根本不愿意与越明军正面交锋只想着退回山东。
如果真相信多铎、豪格从江南撤回来两三万兵马，代善觉得自己这位大贝勒等于白干了，但是他也知道自己虽然是名义上的大贝勒，当年更曾与皇太极平起平坐，但这已经是非常久远的历史了，现在他只是礼亲王，与豫亲王多铎、肃亲王豪格并没有实质的区别。
而且他已经老了，在经历这么多挫折之后连皇位都不怎么在意，怎么会同多铎、豪格闹这种意气之争，因此豪格很快就想明白了：“你们说撤回来两三万王师，那就算撤回来两三万王师吧，现在最大的问题是要不要死守徐州？我们手下还有三万人马，摄政王与京师那边也让我们一定要守住徐州！”
徐州可以说是南北之间的兵家必争之地，代善原本是准备坚守徐州而且也觉得绝对能守住徐州，但是看到多铎与代善的残兵败将他第一个心灰意冷，而多铎已经非常明确地说道：“大贝勒如果一定要坚守徐州的话，那就让两红旗来守吧！”
代善自然不可能让自己统领的两红旗将士折损在徐州，而且他也觉得既然连南京都守不住，守徐州又有什么意义：“那我们还是退回山东吧，如果不能以淮河为界，也可以考虑以黄河为界！”