施耳和罗本师徒二人的离开，并没有引起张士诚的在意。
施耳年迈迂腐，罗本行事偏激，又得罪了张士信，张士诚早就已经疏远二人，只是碍于施耳是他亲自请来，不得不捏着鼻子继续尊重。
不久之后，鲁渊和刘亮也相继请离，才让张士诚感到了一丝不对劲。
鲁渊，字道源，元朝进士，官至浙江儒学提举。他曾经在脱脱麾下效命，参与了围攻高邮。称病回乡后，被原本是敌人的张士诚请出山。
刘亮，字明甫，吴郡人，是张士诚麾下最早投靠的文人之一。
同时，他们二人也是施耳好友。
张士诚见两人在施耳之后请辞，以为两人因自己没有挽留施耳而闹脾气，特意给了些金银安抚。
但两人坚持请辞，张士诚也来了脾气，认为这两人心胸狭窄，不再挽留。
张士信对施耳及其友人十分不满，立刻向张士诚说坏话，污蔑这些人是要投劳朱元璋。
张士诚此刻却没有听信张士信的谗言。
他很认真地对张士信道：“那几位先生虽心胸狭窄，认为我没有重用他们，所以自请离去。但他们大体上的品德操守不会有问题，他们既然说是致仕归家，就不会投靠朱元璋。”
张士信完全不信：“他们以前还是元朝的官呢，不还是投靠大哥你？”
张士诚摇头：“那不一样。”
张士信不懂为何不一样，但见张士诚没有杀掉施耳、鲁渊、刘亮等人的意思，便也不再纠缠。
在他看来，这些人只要不在平江继续碍他的眼，便可以放过。
施耳等人确实如张士诚猜测的那样，各自隐居山林，没有投奔朱元璋。
在这一点上，他们与张士诚君臣多年，终于默契了一回。
饶介、陈基二人仍旧在张士诚麾下效力。他们二人不再为张士诚出谋划策，平日深居简出，只作为内吏为张士诚的诏令代笔，颇有些大隐隐于朝的风范。