安禄山返回范阳，朝中掌握大权说一不二的人依然是李林甫。李林甫此人妒贤嫉能心胸狭窄，无容人之量，虽位居右相，一人之下万人之上，仍时时担忧着会不会有人超越他的地位，夺了他的权势。因此凡朝臣功高名胜、有可能为宰相的都会加以阻挠，甚至诬陷迫害。先前有裴宽、卢绚、韦坚等，都是因此而被李林甫所害。
皇甫惟明获罪，王忠嗣接替其任，治军有方功名日盛，兼任河东、河西、陇右、朔方四镇节度使，是西部镇守边陲的重将。李林甫怕他入朝为相，屡进谗言。
安禄山筑雄武城，大贮兵器，假借讨伐契丹之名请王忠嗣带兵助役，想从他手下夺取兵力。王忠嗣先于安禄山约定之期到，查探兵情，未见安禄山面就离开，并以所见进言安禄山潜蓄异志意图谋反。皇帝哪里听得进去，反对王忠嗣生出不满。李林甫更趁机进谗，让皇帝疏远王忠嗣。王忠嗣心知自己功高受李林甫猜忌，四月自请解除河东、朔方节度使之职，皇帝准许了。王忠嗣于是专心经营河西、陇右两镇，抗拒吐蕃。
李林甫仍不放心，又撺掇皇帝下令王忠嗣攻吐蕃石堡城。石堡城险固，易守难攻，吐蕃又派重兵把守，王忠嗣认为攻石堡必会损伤大批兵马，得不偿失，不愿攻城，让皇帝心有不快。将军董延光为立战功自请领兵攻石堡，皇帝命王忠嗣分兵相助。王忠嗣不得已而派兵，但并未尽遂董延光心意，董延光心有怨言。
过了预定期限，董延光仍未能攻下石堡，便归罪王忠嗣，说他不尽力协助，阻挠军计，皇帝大怒。李林甫趁机令济阳别驾魏林告发王忠嗣，说王忠嗣幼年养在宫中，与忠王交情甚密，欲拥兵尊奉太子。皇帝愈怒，征王忠嗣入朝，令刑部、大理寺、御史台三司会审鞫查。王忠嗣因而下狱，其陇右、朔方两镇节度使之职也分别由哥舒翰、安思顺取代。