唐高宗和武则天矛盾公开化的第一个表现，就是李义府被贬官。前面说过，李义府是第一个站出来支持立武氏为皇后的大臣，打响了废王立武的第一枪，所以武则天对他一直青眼相加。在唐高宗和武则天联手处理元老重臣的过程中，他也是得力干将。帝后二人因此都视他为自己人。可是李义府的行为，实在令人不齿。
显庆元年（656年），他有一次视察监狱，看上了一个姓淳于的女犯人。淳于氏长得很漂亮，所以李义府也不管她所犯何罪，是不是谋杀亲夫，竟然指使大理寺丞把她给放出来，收到家里做了小妾。没想到这件事情没做好，事先没有跟大理寺的长官大理卿打招呼。大理卿一看监狱里丢了一个犯人，马上上报了。朝廷立即着手调查，李义府怕事情败露，竟然逼那个帮他放人的大理寺丞自杀。大理寺丞一自杀，可就是人命案了，死者还是一名官员，朝廷更要调查。
唐高宗知道事情是李义府干的，本来想要原谅他，不予追究。但是青天白日，朗朗乾坤，岂能人人都这么没有良知呢。有一位御史叫王义方，他坐不住了。他回家禀报母亲，说现在朝廷里出了这么一件事，而他是一名监察官员，如果不管呢，良心不安；如果管了，又怕皇上怪罪，连累母亲。他的母亲深明大义，对他说：自古忠孝不两全，你既然当了这个官，就要舍孝全忠，报效国家。另外，你这样做，还可以成就一生的大名。如果你因此获罪，我虽死无恨！王义方受了母亲一番鼓舞，马上上书朝廷，要求严惩李义府，还死者一个公道。可是唐高宗当时正在对朝廷的干部资源做优化组合呢，怎么能自毁长城？他没有惩办李义府，反倒责怪王义方毁辱大臣，马上贬他为莱州司户。
这样一来，大臣们一下子就知道了李义府在皇上心目中的分量，再也不敢轻易和他叫板了。可是偏偏有一个大臣不信邪，又和李义府闹矛盾了。谁呢？杜正伦。这也是唐高宗提拔上来的一位宰相，他觉得自己资格比较老，很看不起李义府的那副轻狂样子。李义府恃宠而骄，纵容儿子、女婿卖官鬻爵，搞得家里门庭若市，影响很坏。这天，杜正伦就和李义府在朝堂上吵起来了。因为两个人都是唐高宗提拔的，所以唐高宗以大臣之间不能和睦为名，各打五十大板，双双贬往地方让他们反省去了。即便这样，李义府还是技高一筹。转过年来，他又在武则天的保护下回到了朝廷，官复原职，当了宰相。而杜正伦就倒霉了，死在了被贬的地方。李义府回到朝廷后，恶习不改，马上又耀武扬威，把一个出身于赵郡李氏的五品官李崇德逼死了。