关于杨义的流言有欲演欲烈的趋势，甚至影响到了公主、郡主等人名声，皇帝也坐不住了，除了派出宫中密探四处打探消息外，还勒令长安县、万年县限期破案。可让李世民失望的是，两县在规定的限期内非但没有破案，还查不出什么有用的消息，也就是说，压根就查不出来是谁散布的。
李世民气得直跳脚，立刻下诏让各布司衙门发出告示禁止百姓议论，派出武侯四处监视，一定要将流言掐死在萌芽中。可是，这样的禁止在百姓眼里只是象征性的，并没有什么意义，武侯来时，百姓立马禁声议论，可武侯前脚一走，议论声又四起了，根本就没有多少人把这个告示的内容当一回事。
并不是百姓不害怕官府，而是有心人推波助澜造成的，明眼人都看得出来，这些推波助澜的人明显就是那些有权势的人干的。有权的，是朝中的权贵无疑。有势的是谁？不用想都知道，这是北方大地的各大门阀士族无疑。
他们早就和杨义有了恩怨，或是在利益上有了冲突，如今有人整杨义了，他们又怎能不往这事上插一脚？虽然这时候还没有趁你病要你命这句话，但他们所做的事就是这个意思。
某处深宅大院的后院凉亭，这里围坐着十余人煮茶赏雪，时不时有人说一两句话，气氛显的有些尴尬。但听他们所说的话都是关于杨义的，他们都是和杨义有过节或利益有冲突的门阀代表。
他们今日在这里借赏雪开会，主要讨论的是如何联手拔除杨义这个毒瘤，是的，对他们来说，杨义就是毒瘤。因为杨义做的生意太大了，跟他们合作的极为有限，已经严重触犯了他们的利益。明着打是不可能的，只能背地里搞小动作，如今有人跳出来了，他们肯定是要往里添把火的。
主持会议的是博陵崔家家主崔民干的兄弟崔民业，他向大家一拱手：“各姓士族代表请了，很荣幸大家推举我当这个主持，现在我先报一下名，再解释一下未邀请之人。到场的有我博陵崔家、赵郡李家、清河崔家、范阳卢家、荥阳郑家、京兆韦家、河东柳家、河东薛家、京兆杜家！为何没有邀请陇西李家、太原王家、河东裴家、弘农杨家这四家呢？想必大家都知道这四家和姓杨的是什么关系，虽然他们的许多生意和咱们有合作，但他们的主家已经和姓杨的联姻或达成了某种协议，这里我就不多说了，大家都明白。咱们在这里部署对付姓杨的事，希望大家出了这门便忘掉，后果大家是知道的！大家可明白？”