安政五年（1858年）八月十五日，江户崛家屋敷出出进进的的客人很多，但气氛却不见热烈。
在不知内情的人看来，好像这家发生了什么不幸似的。
但事实却与之完全相反，这家主人最近刚被幕府任命为箱馆奉行，赴任在即，客人们都是来送行的。
“义卿兄，请您务必再仔细考虑下。直秀正需大才指引，拜托了。”
“过于抬爱了，实在是受之有愧。承蒙您这些年的关照，感激不尽！”
见吉田矩方态度很是坚决，无奈之下，直秀也只能同意他的请求。
嘉永七年（1854年），吉田带着弟子金子重之辅偷渡黑船失败，之后被坦庵先生送到了白主。
第二年秋季，直秀考虑再三，最终决定还是助他圆梦——毕竟是维新前三杰，人才难得，于是就拜托三江洋行的小约翰将其送往伦敦留学。
当时同行的，除了吉田的弟子金子重之辅，还有五名白主的留学生——近藤长次郎和其他四名青葱少年。
如今三年过去，吉田等人学成归来。
本来直秀是想他在北地效力的，但吉田执意要回长州，直秀觉得也行吧，毕竟，如果大名鼎鼎的松下村塾要真被自己搞没了，也挺可惜的。
因为还有客人等候，得到同意的吉田和金子就施礼离开了。而直秀则继续忙碌，直到傍晚才把最后一位客人送走。
好不容易空闲了，十三岁的福太郎忍不住吐糟，“以前爹爹闲居的时候，可没这么多应酬。”
直秀知道他的心思，“儿子舍不得自己和英子离开，想多和自己相处，所以讨厌这些人叨扰。”
所以他微微一笑，拉着福太郎就一起找英子大人去了。
说起来，直秀已经在江户闲居快一年了。
安政三年（1856年）十二月，公方样家定与岛津家的公主笃姬大婚。作为臣子，时任白主奉行的直秀也被特旨召回。