答えられない質問を正しく見分けられたとしても、機械の判定だけでは済まない内容がある。どんな場合に、確からしさに関係なく人に渡すべきかという設計を、自社の実装をもとに整理する。
この記事で分かること
- 内容によって機械的な確からしさとは別に、人に渡すべきカテゴリの決め方
- 振り分けを安定させるために実際に直した実装上の問題
- 有人対応に切り替えた後の会話をどう記録するか
この記事で分からないこと(正直に書く)
- 業種ごとに「人に渡す」と決めたカテゴリがどこまで一致するか
- 振り分けの誤判定がどれくらいの頻度で起きるか(自社では継続測定中)
内容によっては確信度に関係なく人に渡す
自社が相談系サービス(内容は伏せる)を検証した際、医療・法律・自傷に類する内容を検知した場合は、回答の確からしさに関係なく専門窓口・有人対応に振り向ける方針をあらかじめ決めていた(出所: 自社の運用記録、確認日2026-09-06)。これは公開前検査を通っているかどうかとは別の判断で、答えの正確さではなく、扱う内容そのものの性質で切り分けている。
「判定」と「確からしさ」は分けて返す
振り分け先を決める仕組みでは、判定結果そのものだけでなく、その確からしさをスコアとして分けて返す設計にしている。LLMが最終判断をするのではなく、人が判断するための材料として判定と確からしさを分離して渡す考え方で、自社の医療分野の相談サービス向けの振り分け実装でも同じ構成を採っている(出所: 自社の公開事例、確認日2026-09-06)。確からしさが低い判定は、内容にかかわらず人が確認する対象として扱われる。
振り分けの実装は一度作って終わりではない
振り分けの判定処理でJSON形式の出力を期待する実装にしたところ、実際には27%の割合で期待した形式の出力が返らず、判定に失敗する状態になっていたことがある。原因は会話履歴をそのまま渡していたことで、履歴を要約してから渡す方式に変えたところ、失敗率は0%まで下がった(出所: 自社の運用記録、確認日2026-09-06)。振り分けの精度以前に、振り分け処理そのものが動いているかを検査する必要があることを示す実例である。
有人対応の記録も同じ器に残す
有人に切り替えた後のオペレーターの回答も、ボットの応答ログと同じ場所に記録として残す設計にしている。有人対応の回答は、後で事前生成FAQの材料になる資産であり、メールなど別の経路に流すだけでは残らずに消えてしまう(出所: 自社の運用記録、確認日2026-09-06)。この記録の使い方はFAQの整備順序の記事で扱う。振り分け先を決める基準を自動化してよい範囲の記事にある有界ドメインの考え方と合わせて設計すると、機械が答えてよい範囲と人に渡す範囲の境界がずれにくくなる。
誤った案内をそのまま押し通した結果として法的責任を負った事例は、Air Canadaのチャットボット訴訟の記事を参照してほしい。
自社のチャットボットの有人対応切り替え設計について相談したい場合は、お問い合わせから編集部まで連絡してほしい。
よくある質問
Q1. どんな内容なら確信度に関係なく人に渡すべきか
自社の実務では、医療・法律・自傷に類する内容を検知した場合は、回答の確からしさにかかわらず専門窓口・有人対応に振り向ける方針を決めていた。
Q2. 「判定」と「確からしさ」を分けて返す理由は何か
LLMが最終判断をするのではなく、人が判断するための材料として使うためである。確からしさが低い判定は内容にかかわらず人が確認する対象になる。
Q3. 振り分け処理そのものが壊れていたことはあるか
ある。JSON形式の出力を期待する実装で27%の割合で判定に失敗していたことがあり、会話履歴を要約してから渡す方式に変えて失敗率を0%まで下げた。
Q4. 有人対応に切り替えた後の会話はどう扱うか
オペレーターの回答もボットの応答ログと同じ場所に記録として残す。この記録は将来の事前生成FAQの材料になる。