武三思率随员于金吾卫行监军之职，遭遇徐晓乐表明配合，背地使拌的手段应对，使一众官员于军中多不受兵士、将领好眼看待，虽也拉拢说服十数将领为其所用，却是于金吾卫大军中翻不起浪花，想要调动一兵一卒，便是那十数将领也不敢轻举妄动。
朝堂上，武三思奏报金吾卫搞一言堂，兵士眼中只有徐晓乐，使监军形同摆设。
武则天闻报，面色不善责问徐晓乐道。
“徐晓乐；梁王武三思所奏是否如实？”
徐晓乐闻言出列回道。
“ 启禀陛下，梁王所说不实，金吾卫自迎来朝廷监军官员，上下皆是着力配合，没有半点怠慢之处，微臣是一军主将，军中将士自然以臣之命是从，否则，要微臣何用，便是阿猫阿狗也能统领三军，想一军如果令从多出，兵将不能适应，谈何战力？臣以为，我领我的军，他监他的军，咱井水不犯河水，各行其事，梁王监军，不能使兵将信服与我何干。”
这小子说罢，引得十六卫各军统领多是暗笑，有那忍不住的，好不辛苦咳嗽起来，使得一帮主张设立监军衙门的大臣，个个是满面带怒。
监军衙门副使娄师德，出列奏本弹劾徐晓乐对朝廷阳奉阴违，徐晓乐闻言大怒说道。
“娄大人诬陷朝廷有功之臣，其心不良，想是要乱我军心，某家奉劝你说话要有依据，休得胡言乱语。”
这话已然带有威胁的意味，武则天闻言，殿堂上大发雌威，怒声斥道。
“ 徐晓乐；你敢当本皇之面威胁朝廷重臣，眼中还有君上吗？朝廷施行监军之政，乃是为用兵严谨着想，娄师德弹劾你对监军之政阳奉阴违，有理有据，就事论事，并无有针对你个人之心，何来胡言乱语，莫不是你欲使金吾卫成为你私家军？”
武则天这话说得甚重，已然有质疑徐晓乐存有谋反之心。