过了几天，周馥的复奏稿呈上来了。先说江苏厘卡的来历，那是迫不得已：“近年以来，廷臣奏请停减厘捐者不止一人，不止一次，而外省未有停减，岂督抚大吏皆不肖皆恃功也？事关大局有所不容己也。”然后再说江苏的厘卡之设，完全按照通常标准设置：“凡有卡局处所，臣均亲历查勘，于河湖扼要立总卡收捐，于港汊分歧处立巡卡照票，以杜绕漏。一片一验，相隔数十里，实无十里五里。设卡重征之事照上海之章，每千钱取四十、三十不等，实无十钱抽三之事。殷兆镛所奏，茶棚、桌子、赌场、点心、剃头、担粪捐数十文至数千文，并有妓女捐名色。苏省捐目虽多，本由商贾繁盛、货物辐辏，因地制宜，亦何至有此等荒唐之事！”
李鸿章觉得笔墨还稍嫌软弱，提笔加道：“殷兆镛造谣诬蔑，骇人中闻，不知其心何居？”
接下来分别说明所委托厘卡局员并无不肖之辈，旗牌令箭也无滥用之事。总之，殷兆镛所劾一概不认。
然后说明近年来厘捐总数，都用到哪里。李鸿章认为不能只简单回奏这些年收了多少支了多少，殷兆镛说江苏年收四千万，纯粹是外行话，必须先把他的无知奚落一番。所以他提笔写道：“查我朝定鼎之初，每年直省所入丁漕仅一千数百万；自乾隆六十年，海内殷富，盐务、关税叠加整顿，户部所入每年多至四千余万；嘉庆、道光以后，入不敷出；至咸丰年间，每年例入之数十不及三四矣。苏省凋敝之余能筹出乾隆盛世时各省所入四千万之巨款，非不识时务，且似不通掌故。其折责人以学道，不知彼之所学，何道也？”
郭柏荫给周馥提供的厘捐数据，自然能够自圆其说，总之江苏之厘全用之于军饷正项，且亏欠甚多。现在不仅不能撤，而且也不能减。周馥的回奏稿至此结束，李鸿章总觉得不够尽兴。如果任凭殷兆镛等人这样随意弹劾，将来无论办什么，难免都会招来物议，如果一有不同声音就缩手缩脚，那就什么事也干不成了。本朝允许言官风闻而奏，就是荒唐的制度，这些言官只会空口白话，而且说话不必负责，失实也不必追究，更助长他们高谈阔论的毛病。