正月初一，肃宗长孙、李豫长子、皇太子、雍王、天下兵马元帅李适率团在陕州会见牟羽可汗，因礼仪问题发生激烈冲突，随员遭毒打，死三人。玄宗得知，痛哭流涕，将此事称为“唐朝陕州之辱”。
初春，皇后张良娣、宦官李辅国等联合上表，敦请肃宗以“图谋复辟罪”为由诛杀剑州太守裴冕。玄宗乘驼轿到太极宫外抗议：“昔时安贼作乱，朕在益昌郡遥诏汝充天下兵马元帅，以冕为御史中丞兼左庶子，其与杜鸿渐、崔漪等拥立汝为帝，有功，被迁中书侍郎、同中书门下平章事，后利欲熏心，因卖官鬻爵恶行流放蜀地，也算是罪有应得，何必赶尽杀绝？”肃宗指着三车诉状说：“裴冕胆大妄为，招摇撞骗，假传太上皇圣旨，已将蜀地六十年后之太守、刺史、兵马使、支度使、营田使、招讨使、经略使、节度使等官位全部卖出，影响恶劣，不杀，何以面对天下？”玄宗愤然反驳道：“朕退居二线久也！朕门可罗雀久也！朕为臣民所忘久也！裴冕即便假以朕之声威，富商士卒岂不知当前主政者是谁？他们都是人精，怎会心甘情愿上当？搞清楚这个问题，再论罪不迟！”肃宗回头问张良娣、李辅国：“朕该怎么说？”正当此时，川康边地步卒、投笔从戎之文士崔旰以骆驼运输士兵右耳三千只抵达，并迅速在庭院中摆出“克城之日，土地、士庶归唐，金帛、子女皆归回纥”字样。“倏”和“忽”厉声喝问：“这是你们当初借回纥兵时答应的条件吗？”肃宗无言以对。此后，他拒绝与太上皇见面议事。于是，裴冕升任成都尹，充剑南西川节度使。西川节度使严武对崔旰大为赞赏，奏为华阳县令。玄宗得知史朝义杀死伪皇后辛氏、太子史朝英等数十人，预言其必败，三次写信给肃宗，声称天下将归太平，请求赦还高力士，未果。又提出用“倏”和“忽”同史朝义交换阿嗜尼。皇后张良娣代替肃宗回信：昔时二妖孽为安禄山开凿耳目，祸害天下，生灵涂炭，如今，史朝义已成败家之犬，如若送去“倏”、“忽”，谁晓得会生出什么孽事来。玄宗悲恸不已，写信说：“朕身为太上皇，却日日囚禁于驼轿中，不见玉环歌舞，不闻力士请安，而‘倏’、‘忽’不解朕意，只会胡言乱语，不堪忍受！朕承蒙众大臣厚爱，推举为太上皇，但对权位早就心灰意冷，不再感兴趣。现在，朕寻求一个小小的开心果阿嗜尼，这个愿望都实现不了？安禄山叛乱以来，朝野诸事皆逆朕意，这次朕说话要算数！朕知道国库空虚，朕绝不消耗公款，朕在兴庆宫中饲养御马三百匹，自费完成这项出差使命，何如？”