茫茫乾坤归何处？曹雪芹思前想后，看来京城内是决计待不下去了，只有出城了。那么，举家归营吧！原来清朝时候，凡是在旗的人，在外边混不到事由了，唯一的归宿就是拔旗归营。
清兵入关，曾疯狂实行圈地，除了皇室占有的称皇庄，官僚贵族占有的称官庄，一般旗人所得的分地则称旗地。
北京西郊所圈占的旗地，按八旗的名称划分区域，每区都设有专人管理，称为旗营。原属于哪一旗的人，拔旗归营后就只能回到哪个旗的旗营内。曹家隶属正白旗。
在一个风雨飘摇的秋日，曹雪芹打点行囊，携着妻子回到西郊香山附近正白旗村落了脚。曹雪芹初到香山时，按照旗营的规定，每月尚可以领到四两月例银，每季支领一石七斗米石、斗，古代容量单位，10 升等于1 斗，10 斗等于1 石），另分草房三间。
这点儿进项，生活用度自然很拮据。不过，这里没有城里的喧嚣，没有乌烟瘴气的人事纠纷，倒也落个清静。
清秋时节，香山一脉枫叶染丹，与黄栌树金色的树冠错杂交织，远远望去，像一副织锦挂毯。
正白旗村满种的也是黄栌树，如果站在山顶往下看，就像谁撑起一把金伞，故又称黄叶村。敦诚在《怀曹雪芹》诗里曾咏道：
劝君莫弹食客铗，劝君莫扣富儿门。
残杯冷炙有德色，不如著书黄叶村。
这些诗句，正是对曹雪芹拔旗归营回到西山后的思想和生活风貌的写照。
他的《石头记》在右翼宗学里并没有写完，一些已经写下来的章回，还有不少地方空着待补。曹雪芹的创作态度一向是很严肃的，一句诗斟酌未稳，一个情节甚至一个细节还没有十分把握，他就空起来，待思虑成熟之后，再回头补上。
他是经历过大富大贵的人，但在饱经沧桑以后，已经体会到这人间的悲苦、世态的炎凉。他开始对过往的一切重作思考，重新评价。