我们应该永远记着，在“优待条件”中有这样一条，虽然朝廷可以暂时继续留在紫禁城，但清朝皇帝的永久居所是颐和园。外国人把皇室的这个乡间居所称为夏宫。
从我担任帝师的第一年起，就不断提请王公、内务府以及皇帝本人，要注意这一条款，敦促他们主动履行。我之所以赞成自愿退居颐和园的主要理由如下：
首先，到目前为止，民国履行这些条款规定义务的方式仍有诸多不足之处，皇室却不能以此为由不遵守契约。确实，除了袁世凯，民国还未正式要求皇帝履行第三条，从紫禁城搬到颐和园去。而且，只要皇帝不直截了当地拒绝履行该条款，他便不可能被判定违约。然而，他“暂居”紫禁城的时间已经延长至12年（1923年底）了，而且皇室还没有表现出任何搬迁的意向。这很容易成为一个严重的投诉理由，成为指控皇帝的依据，即他即便没有在文字上违约，但在精神层面他已经违反了退位协议。那些希望协议取消的人（他们中有一大批是非常活跃且恶毒的反满政治家，还有越**动的学生），自然会乐意把取消协议的责任从他们自己身上转移到皇帝身上。如果皇帝不迁到颐和园，而他们又找不到更好的证据来证明皇帝不遵守协议，那么毫无疑问，他们定会利用这一事实来发难，宣布协议无效是合情合理的。
其次，我认为满族宫廷在颐和园的生活方式一直比在紫禁城简单得多，所以搬过去就有可能大幅度削减开支，甚至能给皇帝积累一些储备金，几年后就足以使他不再依靠目前不稳定的收入来度日。迁居过去，还可以大幅裁减服侍人员，并会出现撤销闲职的绝佳机会。
这一论点直击要害，朝廷官员及其同党极为反感。1923年，我记得我曾就这个问题与耆龄进行过一次长谈。他反对皇帝迁入颐和园，主要理由是那里的居住面积太小，无法满足内务府官员的需要。当我指出颐和园有足够的空间可以容纳皇室、所有的朝廷官员和仆人时，我遭到的只是断然拒绝。他认为，我所说的与皇帝搬迁的事情间没有任何关联。裁减现有工作人员的做法是不可行、不可取的。我建议大幅削减朝廷开支，这样就有可能积累一笔财政储备，供皇帝在不久或很遥远的将来陷入困境时使用，但他对我的这一建议也丝毫不感兴趣。