每当爬上如同 “海上之城池”的黑船，香山都觉得自己又渺小了不少。和历六月八日，这次他又没见到提督佩里，交涉中香山称，“公方样有恙。事体极大，非可辄变。宜以明年来长崎待报。”
米人请示佩里提督后确认，“可。国书请直达大君殿下。”——其实扶桑皇室才称大君，佩里在这里把称呼搞错了，米人的大君指的是幕府将军。
但佩里坚决不同意在船上递交国书，也不同意在浦贺递交——浦贺附近炮台林立，他怕遭到扶桑人的伏击，他让副官和香山商讨，最终选择了横须贺.
小渔村久里滨因为幕府要建第三座炼铁厂已经改名为横须贺，但因为精通炼铁的专业人才不够，此地只是平整了土地、修建了简易码头，别的啥都还没建起了。
佩里的助手选择横须贺是因为这里虽然属于江户湾内海，但位置非常靠近浦贺水道，算是敏感而又不那么敏感的地点，而且这里离浦贺较近，方便了扶桑人；同时水文条件较好，地势又相对开阔有助于米人避开伏击。
香山左卫门听了米人同意“明年来长崎待报”就非常开心，这是往后推了一年啊，明天的风明天再吹，佛祖保佑，总算暂时躲过了这一劫难——至于翌年怎么办？到时再说呗，我又不是真的浦贺奉行，哪里管得了那么多。
香山带着通译喜气样样地回到岸上，一字不改地汇报了米人的答复，结果，一听到提督佩里居然答应了“明年来长崎待报”，其中几位海防挂又后悔了，觉得米人色厉内荏，再拖延几天，没准粮草饮食不济米人自己就走了。
听了这些嘟囔，大目付筒井政宪、勘定奉行川路圣谟、勘定吟味役江川英龙气了个倒仰——这三人是当时挑头拍板的，此时未免有些同病相怜、惺惺相惜。
其实这三位意见并不一致：