次日，李客再次回到李家与母亲拜别后，回到自己房中，拿起临吉先前收拾好的包袱和长剑，便要出门却发现临吉站在房门外一言不发，眼中泪水快要夺眶而出。
“小吉子，少爷我今天便走了，以后少爷不在，可别让其他人欺负了你。”李客看着伤心的临吉说道。
“少爷，临吉自小便跟随在少爷身旁，少爷若是走了，临吉还真不知道该如何是好，没了少爷在身边，我留在李家也没有什么意义，不如少爷将我也带走吧。”临吉满眼期待地看着李客。
李客沉思良久，自知此次被逐出家门，前路茫茫，自己也不知该去向何处，实在不忍带着临吉吃苦受累，于是拍了拍临吉的肩膀说道：“小吉子，少爷我知道你对我情深义重，但此次不同以往，你还是继续留在李家，至少有个庇护之所，少则三五月，多则三五年，等少爷我发达后自会来信予你，到时你再投奔少爷我也不迟。”
临吉听闻此话，原先快要夺眶而出的泪水一下子如开了闸的堤坝，倾泻不止。他明白少爷是为了他着想，不想自己跟着奔波受苦，更不想他离开这个他生活了多年的地方。于是说道：“少爷的心思我明白，少爷对我的情分我也铭记在心，少爷不在的日子里，我会好好将少爷的房间好好打扫收拾着，万一哪天少爷便回来了。若是少爷在外面有了归宿，一定要告知临吉，不论山高海深，临吉自会奔赴而来。”
李客见临吉一脸委屈的模样，心中愈发不舍，但事已至此，长路将行，便一人，也将大道无前，遂留下临吉，出了李家门去，从此再无半点牵扯。
出了李家的李客并没有立即离开晋阳城，而是去找了好友修明，修明知道李客的事，并未多言，只是招呼着李客酒食，还要安排李客在自己家中住下。