曹家被抄家的第二年，即雍正六年（1728 年）的秋天，禁不住新任江宁织造隋赫德的再三催逼与驱赶，曹雪芹陪着祖母、母亲和婶娘，以及婶娘的儿子曹震，丫鬟锦儿、秋月、夏云等，带着仅有的一些衣物行李，终于洒泪告别江宁，登程北上了。
这回被遣返北京，走的是漫漫水路。从江宁水西门外秦淮河边上船，循江而东。船儿在滚滚东流的江水里行进，摇晃颠簸。曹雪芹不免心事浩渺，时时涌起被抄家的余悸。
船要行到瓜州渡口，再转入大运河逆水北上。沿途所见，金山的宝塔，扬州的瘦西湖，都是曹雪芹曾经游历流连过的旧地，如今物是人非，再没有当年的心境了。
这次出行不是出外探亲，更不是随父辈家人升迁赴任，而是被抄了家，撵出了世居的江宁，怎能不叫人触景伤怀、怅惘悲切呢？何况父亲曹頫尚待罪京中，审察未结，此一去命运如何，恐怕是凶多吉少了！
曹雪芹立在船头，望着渐行渐远的石头城，无端吟诵出唐代诗人杜牧的《泊秦淮》来：
烟笼寒水月笼沙，夜泊秦淮近酒家。
商女不知亡国恨，隔江犹唱**。
他觉得这首诗很符合他此刻的心境，虽然他此刻有的只不过是亡家之恨。皇上将曹家召回北京，是有来由的。因为曹雪芹的曾祖曹玺出任第一任江宁织造，就是从京城派去的，曹家在京中原有旧宅。
曹雪芹一行回京城以后，才弄清楚父亲曹頫因“骚扰驿站”
案获罪，现正“枷号”在押。
所谓的“骚扰驿站”案，就是有人告发曹頫于雍正四年（1726年）的秋天，奉命押送江宁、苏州、杭州三处织造的龙衣进京，在途经山东长清县等地方时，向当地官员索取夫马、程仪、骡价等银两超过规定，并引起了很大的影响。
且不必说这个事实到底如何，即使确有这等小小的揩油行为，在当时天下乌鸦一般黑的腐败官场里，岂不只是小事吗？