在封建专制社会里，组织是个令人敬畏的词，一切的任用、奖励、教谕和惩罚都来自组织，而所谓的组织处理又往往是最能体现办事效率、也最能体验操作快感的活儿，那种果断、精致和得心应手，真有如庖丁解牛一般，每一刀都臻于艺术，堪称游刃有余。
首先从岳飞当初的幕僚团队下手。这中间又分几种情况。
第一种是紧跟派。有一个叫智浃的进士，“知书，通春秋左氏传，好直言”。大概因为书读多了，就难免迂腐。在一般人看来，此公虽然姓智，智商却不高，根据就是他“好直言”。一个小人物要在社会上生存，其他什么都可以“好”，唯独不能“好直言”。要不怎么自古就有“明哲保身”的说法呢？反之，你不明哲，不通世故，不辨轻重，什么话都敢讲，也不管是不是和上面保持一致，当然就不能保身了。因为性格原因，这个智浃一直混得不好，岳飞把他招至幕下，以宾客待之。岳飞下狱后，智浃“好直言”的脾气又来了，竟然上书为岳飞鸣冤叫屈。这样的人能有什么好果子吃呢？“坐决杖，送袁州编管。”死打一顿，吊销户口，送到广阔天地去劳动。那时候对官员和读书人的处分有流放、编管、听读几种：流放是以罪犯身份到边远地区去服刑；编管则是编入当地的户籍，由地方官严加看管；听读相对轻一些，大致相当于下放劳动接受再教育一类。智浃是个小人物，落得这样的下场，那叫作噘嘴骡子卖个驴价钱——全贱在一张嘴上。
李若虚原先也是岳飞帐下的幕僚，后来官至司农少卿、秘阁修撰。主帅出事了，那些在他手下帮忙或帮闲的人自然脱不了干系。但李若虚的问题还要比这更严重。绍兴十年夏天，金人背盟南侵，一心求和的赵构也只得应战。这是宋金开战以来最大规模的战事，双方动员的兵力都在二十万以上。在战争的初始阶段，宋军的形势相当不错，特别是中路军的刘锜在平原地区取得了“顺昌大捷”。岳家军也从鄂州麾兵北上，准备与金军主力在河南决战，一举光复中原。但前线的胜利却让朝廷惶惶不安，官家既担心岳飞成就北伐伟业，功高震主；又害怕岳飞在军事上的失败使自己失去和金人和谈的资本。他派当时担任司农少卿的李若虚出使岳家军，传达他“重兵持守，轻兵择利”的手诏和“兵不可轻动，宜且班师”的口谕。这样的最高指示简直混账透顶，岳飞当然无法接受。他向李若虚详细分析了战场形势，认为十年之功，在此一战，对金反攻决定性的时刻已经到来。李若虚激于大义，决定不再阻挠岳飞进兵，自愿承担“矫旨之罪”。而就在他返回行都的路上，就不断传来岳家军所向披靡的捷报。回到临安，李若虚上奏了岳飞对形势的分析，认为不用多长时间就会取得决定性的胜利，所担心的只有其他将领不能和岳家军协同作战。官家虽然恼火，但由于战局尚在演变之中，一时也不便贸然处分李若虚，只能恨在心里。现在到了组织处理的时候，李若虚理所当然地被安排在第一批次，他和岳飞的另一个叫朱芾的幕僚“并落职”。