华山金矿一事后，李适之渐失皇恩。此前，李适之与刑部尚书韦坚过从甚密。韦坚之妻姜氏，父姜皎，与李林甫有姑表亲，李林甫本与韦坚甚亲昵。韦坚初为陕郡太守、江淮租庸转运使，掌有实权，因兴修水利、疏通漕运而受到皇帝宠信，既而有入朝为相之志。李林甫见他想和自己平起平坐，渐生厌恶。天宝四年九月，李林甫奏请迁韦坚为刑部尚书，其诸使职务则由他的亲信御史中丞杨慎矜代替，看似升官，其实夺取了韦坚实权。
皇帝议立太子时，李林甫与武惠妃勾结，互为表里，欲立惠妃子寿王李瑁为太子，未能成功，长子忠王得立，即为当今太子。李林甫因而与太子有过节，韦坚又是太子妃兄，也为李林甫所恶。
至此，韦坚李适之二人，一个失权，一个失恩，又都是受李林甫之害，愈发相亲密，结为一党，共与李林甫为难。
天宝五月正月，陇右节度使皇甫惟明因破吐蕃，入朝献捷，见李林甫把持朝政，意有不平，入宫见驾时，劝皇帝削减宰相权势。太子为忠王时，与皇甫惟明友善，韦坚李适之等趁机交结皇甫惟明，共排李林甫。
正月十五，元宵灯会，太子携太子妃同出游赏灯会，韦坚趁机同往。太子常年居住禁中，鲜少游这等民间集会，韦坚为他导引，太子游玩甚欢。
“韦卿，这盏灯好稀奇，四周图案旋转，但灯座似乎未动。”太子又看见一盏未曾见识过的灯，很是好奇。
韦坚回道：“此灯灯座与灯纱不连，内部以轮轴构造，摇柄可以自转，不必围绕一周便可见八方图案，因此名为‘走马灯’。”
太子定睛一看，果然见灯旁有一小童在摇手柄，每摇一周，灯可转三四圈，不由赞叹：“果然构造精密！”又见灯架雕刻精细，图案栩栩如生，心中喜爱，于是让仆人将此灯买下，递给韦妃，喜道：“爱妃，你看这灯，甚是精巧，你可喜欢？”