曹雪芹在右翼宗学的岁月是他长大成人后生活最稳定的阶段，随着一些变故发生，也行将结束了。乾隆十五年（1750 年），内务府对右翼宗学实行改组，不但人事方面要进行调整，校址也将迁到宣武门内绒线胡同新址。
曹雪芹与敦敏、敦诚兄弟们日日剪烛快谈、联吟结社的事，终于引起了宗学的注意。试想，一个当差的内务勤杂人员，竟吸引了那么多位学生在他周围，这岂不是跟宗学的正统教育分庭抗礼吗？再说，皇室子弟崇拜一个包衣奴才成何体统。
此外，恐怕还有一个原因，曹雪芹孤傲狂放，他的诗文谈吐，确比不少有功名、有头衔的教师高明得多，这样下去，其他教师还会有脸面吗？如此种种，宗学终于借了个因由，把曹雪芹扫地出门了。
曹雪芹失业了，没有了正当的职业，就意味着没有饭吃了。
曹雪芹从此进入了十分困难的流浪的时期，这种处境也是他后半生的基本状况。
他是一个公子哥儿出身的人，不懂得生计的事，也无经营之门路，甚至连衣食也不能自理，是需要人服侍的废物。这就是他自谓的天下无能第一了。
他很快就陷入了缺衣少食、举目无援的困境。在极端的困窘折磨着他的时候，他发出了“富贵不知乐业，贫穷难耐凄凉”
的感慨。
当时潦倒的曹雪芹，所能想出来的办法就是求亲告友，忍辱负重地求一个寄食借住之地，暂且勉强苟活。
平郡王府是第一处可以托身寄命的所在。姑母会疼怜他，收容他。平郡王府多一个半个吃闲饭的穷亲戚，原算不得一回事。有些难堪之言，遭受下边人的白眼……这些世态炎凉的人间相，曹雪芹领会了。
不幸的是，平郡王福彭早在乾隆十三年（1748 年）便去世了。福彭死后，府中情况已大不如前。曹雪芹在平郡王府勉强住了一段时间，眼看无法再住下去，只好向姑母辞行，来到了岳父母家。