なぜホウセマンが出現したのか？　それを語るには少し時間を戻さなければならない。

検使の二人が図書頭から「オランダ人二人を取り戻すまでは生きて帰るな」と厳しく叱責されて西役所を出てからの行動は用部屋日記にはその記載が無い。日記執筆者の視界外に出たからである。彼らの行動を伝えるのは「崎陽日録」である。
異国船に再度向かうことになった菅谷保次郎と上川伝右衛門は、通詞無しでは交渉できないので大通詞の中山作三郎と名村多吉郎を連れて行こうとしたが所用があると断られた。そこでもう一人の大通詞石橋助左衛門に声をかけると「今打ち合わせ中なのであとから追いかけます」というので御役所付溝口仙兵衝林與次右衛門を召し連れ波戸場（西役所からなだらかな坂を120mほど下る）へ行くと石橋助左衛門が走って來て「西役所で打ち合わせが続いておりしばらくお待ちください」と言い捨てて役所へ戻った。これで大通詞3名が同行不能になった。
大通詞の定員は普通4名でもう一人は加福安次郎（1808年まで）または加福喜蔵（1808年から）の筈だが全く名前が出てこない。この年に安次郎が喜蔵に家督を譲っているからこの頃は病に臥せっていたと思われる。
この大通詞3名がともに同行を断ったことは怯えのせいもあったろう。石橋助左衛門51歳、中山作三郎57歳、名村多吉郎は生年不詳だが同様な年齢であったろう。長崎では大通詞は町年寄格の大御所である。幕臣とはいえたかが与力の検使に随行して危険な任務に赴くだろうか。しかも中山作三郎は、図書頭が検使二人に「再度異国船へ行ってオランダ人二人を取り戻して来い」と命じたときに、上條徳右衛門の袖を抑えて「御引止めください、卵を岩にぶつけるようなもの」と必死で請願したほどであるから、異国船へ赴くことの危険さは十二分に承知しているのだ。
なぜかこのあたりの事情は「通航一覧」のどこにも記載が無い。大通詞への遠慮かもしれない。「崎陽目録」にだけ詳細に3人の大通詞の同行不能が詳しいことは著者丹治擧直の何らかの意図があったのかもしれない。ちなみに検使二人に同行して終始異国船との交渉にあたった小通詞末永甚左衛門は事件後の調査でその勇気を称賛され、大通詞に昇格という異例の褒賞を受けている。これが意味するところは私の推測が正しいと言えるのではないか。
召し連れる通詞がいなくなった検使二人は大波止から海岸沿いに南へ200mほどの出島へ行き、出島橋を渡って両側に建物や蔵が並ぶ通りを右へ向かい一番奥まで90メートルほど歩き、海につながる水門の近くの通詞会所を訪ねた。ここはオランダ通詞の詰め所である。
ここで検使二人は居合わせた通詞たちに「同行できる者はいるか」と声をかけたところに名村多吉郎が現れたのでこれ幸いと同行を命じると、カピタン（ドゥーフ）から用事で呼ばれたとすぐに出かけたので見合わせていると、警備の者たちが異国船を発した小舟が数艘港内に侵入したとの警報を聞き、再び大波止へ戻った。

大波止には石橋助左衛門と末永甚左衛門（小通詞並）の二人の通詞がいたので乗船を命じて船を出した。船は長崎奉行所の堂々たる御用船佳行丸である

だが石橋助左衛門は異国船からバッテイラ（ポルトガル語起源の小舟のこと。長崎では日常語である）が出たと聞くと「波止場へ行けとのお指図を受けておりませんのでひとまず戻り、確認してから直ちにあとを追います」と言うので周りにいた他の船に乗せて帰した。
この時の状況を当時の感覚で振り返ろう。港内からはすべての船が消えている。満月だが対岸の水之浦までは1㎞以上、灯火は見えず、稲佐山は黒々と聳え、漂う海は黒い波が打ち返すだけである。遥か彼方の神崎方面には巨大な異国船が潜んでいる筈である。さぞかし不気味な夜であったろう。石橋助左衛門51歳、怖気（おじけ）づいても責めは出来まい。
彼らが何時に船を出したか？異国船からのバッテイラ3艘が本船に戻ったと確認されたのは10時ごろである。それまでは不安と戦いながら待機していたのであろう。大波止や大黒町に異国人が出現したという騒ぎの最中に彼らがどう行動したかも一切わからない。
が、この後の出来事から推測して大波止を出たのは11時ごろであると想定される。付き従う通詞は小通詞並の末永甚左衛門、この時40歳。検使の乗船佳行丸に随行する御役所付御役所付溝口仙兵衛と林與次右衛門も乗り移り、一行は沖を目指した。
すると途中で遠見番嘉悦忠兵衛の船が佳行丸の提灯を見て、近寄って来た。野母御番所の沖遠見番出役の5艘は恐怖心と戦いながら異国船見張りを勤めていたのである。異国船の様子を尋ねたところ、特に変わりはないと言う。そこでさらに沖へ出て異国船へ近づいた。

異国船の船縁は和船より高く、見上げるほどである。舷側には2段構えの砲門がずらりと並び、砲口が突き出ている。末永甚左衛門が大声でホウセマンを呼んだ。異国船（ここからはフェートン号と呼ぼう）は敵地の中にある。終夜、厳重な警戒をしているから、早くから高いマスト上のワッチ（見張り）から警報が出され、コーターデッキの士官たちも望遠鏡で、近づく小舟に砲や銃器の所持が無いことを確認していただろう。フェートン号船上で話される会話は末永甚左衛門には聞いたことのない言語だったが、「捕われたオランダ人と話がしたい」と言う末永のオランダ語を聞いて、すぐに反応があった。ホウセマンが船縁に姿を現したのだ。