大目付堀利坚逼问小栗忠顺也是逼不得已，这咸亨洋行的跟脚简直成了幕府重臣的一块心病，不问的话他连自己都说不过去。
原来，随着时间的推移，咸亨洋行对幕府的帮助越来越大——本来，为了维持对外界的了解，幕府在西洋诸国中保留了兰国作为通商对象，但兰国商馆与扶桑交往的目的是一直通商而不是扶持， 而咸亨洋行是直秀一伙人专门用来扶持幕府的，所以在黑船的到来后，幕府愕然发现咸亨洋行竟然成了必不可少的角色，但同时也引发了大量的疑虑和担心。
在老中们的要求下，目付所重新回溯了与咸亨洋行打交道的过往：
嘉永二年（1849年）八月，旗本崛直秀从海外归来，除了自购的一艘西洋木船，随行的还有一艘米人帆船——这是咸亨洋行第一次正式出现在扶桑，当时名义上替崛直秀送货，并没有和幕府发生什么直接关联。
但嘉永三年（1850年），咸亨洋行的船只又出现在长崎，在新任长崎目付小栗忠顺的操作下，又玩了一回蛮人献宝，这算是开始与幕府打交道——但当时还谈不上交易，当时幕府只是收下了礼物，给咸亨洋行的回报仅仅是燃煤、淡水和其它一些补给。
所谓的“又一回蛮人献宝”，是指以前发生过一次。
在嘉永元年（1848年），曾经有米船来长崎，据说是什么米人首富范德比尔特的船只，当时船头摩根和时任长崎目付役助的小栗忠顺“一见如故”，而且摩根接触了扶桑文化后发现其“博大精深”，所以献上大量南蛮物。
当然，幕府也不是随随便便就收西洋人礼物的——“这不花钱的才是最贵的”，道理大家都懂，可奈何米人卸下货物就溜了，这不收也收了，何况人家根本没提通商或者其它条件，因此此事就不了了之——其实是当时的长崎奉行、长崎目付贪图财物，小钱他们看不上，可当时是价值上万两黄金的南蛮物，而且都是没成本的，发卖时大可上下其手。