検使二人が提灯を掲げて「ホウセマンか？」と声をかけると、ホウセマンが帽子をとって会釈した。その無事な姿を見て検使二人はさぞかし安堵したことだろう。オランダ人の身に何かあったら切腹は免れないからだ。
フェートン号の船縁には多くの人間が現れて検使一同を検分している様子だ。
検使達は「どの国の船であるか？いかなる理由で二人のオランダ人を捕らえたのか？貿易をしたくて渡来したのか？」と甚左衛門にオランダ語で通訳させた。これが日本側とフェートン号側との、初めての会話である。貿易が願いか？と尋ねたのは貿易を求めて不審船が現れた前例がいくつもあるからだ。
これに対し、ホウセマンは何事か船上で指示を貰ったのだろう、「夜中に本船へ他の船が近づくことは出来ませんので、御検使様は明朝お越しください」と答えてホウセマンは姿を消した。
だが検使としてはこのまま引き下がれない、「異国船に乗りつけたい」と漕ぎ手に命じて乗船をフェートン号へ漕ぎ寄り「もう一度呼び出せ」と命じたので。甚左衛門が声をかけるとホウセマンが再び船縁に現れた。

「もう一度聞くが、もし願い事があるのであれば取り計らうことも出来るから、頭分の者がこちらの船へ来て貰いたい」と通訳させると、ホウセマンが再び船内に戻り船主と相談している模様だ。そのうちにフェートン号から2艘の小艇がスルスルと海上に吊り下げられ、検使達の船を挟み込んだ。見ると小艇には前後に砲（近距離戦闘に使う散弾を使う小型のカロネード砲だろう）を積み込み、抜身の剣も見え、持っている短筒や小銃や砲には銃弾が装てんされている様子で、しかも本船舷側の二段の砲列には一挺に二人ずつ水兵が取りつき命令一下砲撃する勢いなので、検使一行は恐れおののき生きた心地がしなかった。フェートン号から離れて帰ろうと思うも、事情を聴かずして戻れば検使の役目が果たせず図書頭の「生きて帰るな」という激しい叱責が、検使の乏しい勇気を奮い立たせた。
ホウセマンに同じことを再度尋ねると異国人が出てきて何か言っているが、その言葉がわからない。そのうちにホウセマンがまた現れて「この船は支那から来たそうです」と答えるので、甚左衛門が「船が（唐人の使うジャンクより）ずっと大きいので支那の船ではあるまい。真実を言うべし」と言うと、今度は「辨柄仕出し（ベンガル（インド）から出航した）との返事が返って来た。
「なぜオランダ人を捕らえたのか？どのようにも取り計らうからまずオランダ人を解放するように伝えよ」と言うと、それからどれほどの時間が経ったのかはわからないがホウセマンが次の様に答えをよこした。
「船中は食物類が乏しくなっております。これらの品々を補給して貰えれば、オランダ人を戻し他に用事もないので明日にも帰帆いたします」とのことである。
しかも横文字（外国語）の手紙を寄越した。甚左衛門が読むと“ベンガル出航、船主の名前、水食物類が乏しいので届けて貰いたい”とのことである。これを訳して検使達に伝えると、「この品々、今は夜なので用意できないが明日迄には必ず届けるから二人のオランダ人はいま解放して欲しい」と甚左衛門に訳させたが、フェートン号からは拒否された。
「では乗組員のうち二人をこちらへ代わりに寄越して欲しい」と甚左衛門が検使の言葉をオランダ語で伝えると、この要求がフェートン号側には奇怪に思われた（この要求が理解不能であったろう）気配なので「今晩二人の人質を預かっても心配には及ばない、明朝食物類は届けるから二人のオランダ人を戻せば、こちらに預かる二人の人質も返すから、人質を出すべし」と伝えても、承諾しない。
そこで検使二人は意を決して「オランダ人二人を戻さないなら、帰ることなど出来ぬ、我々二人が異国船に乗船する」と言った。これは決死の面持ちであったろう。
甚左衛門が訳して伝えると「ではこちらにお越しください、と船主が言ってます」とホウセマンの返事が返ってきた。
だがこの答えに甚左衛門は不審を抱いた。オランダ人二人に加えて、検使二人まで異国船に捕らわれるのではないか、との疑念である。だが検使二人は「どうなっている？」とオランダ語でのやり取りについて尋ねてきたので甚左衛門が内容を伝えると「では我々は乗船する」と言い出した。だが気懸りな甚左衛門はホウセマンに「御検使様お二人が乗船されても御検使様に失礼なこと（万一のこと）は無いか？」とホウセマンに問うたところ、「これは異国人の言ったことですから、自分としては何とも言えない」と答える。甚左衛門はこの答えでは懸念が解消出来ず、検使の乗船取り止めを進言した。御役所付の溝口仙兵衝と林與次右衛門の二人も甚左衛門に同調して乗船に反対した。40歳の末永甚左衛門、小通詞並ながらしっかりした人物であることが窺える。
そうしているうちに、ホウセマンが大声で「早く船を離れてください」と何度も叫び立てるので検使一行は異国船を離れてほぼ数百メートルの距離の神崎まで行き、滞船した。
ここで今起こった出来事の報告書を急いで書き、寄越した横文字手紙を添えて、御役所附林輿次右衛門に持せて西役所へ急行させた。検使二人は両御番所の警備体制がその後どうなっているか確認するために漕ぎ出したところ、同じく両御番所の警備強化を催促するため派遣された山田吉左衞門と花井常蔵に行合ったので同船させ、山田と花井が図書頭から指図の内容を確認した。そこへさらに派遣された用人木部幸八郎も来たので一同一緒に戸町御番所（両御番所のうち南側海岸）へ行き、番頭蒲原次衛門へ警備人数の増員の進捗を確認したところ、「深堀勢（戸町の西に隣接する佐賀支藩）諌早勢（東25kmの諌早藩/藩主は佐賀藩家老職）とも未だ到着いたしません。お待ちください」と言うのみであった。ちなみにこの蒲原次衛門は長崎番頭という肩書である。つまりは両御番所の責任者であった。彼はのちに、両御番所の人数手薄の責任を取ることになる。