問い合わせ対応チャットボットで、何を自動応答に任せてよく、何を任せてはいけないかの線引きは、業種を問わず同じ基準で引ける。自社が受託先向けに構築したチャットボットで実際に起きたLLMの誤答をもとに整理する。
この記事で分かること
- 自動応答に任せてよい範囲を決める基準
- 小型LLMがFAQを渡されていても一般知識で答えてしまった実例
- 検討した3つの選択肢のうち、どれを採用したか
この記事で分からないこと(正直に書く)
- 大型モデルに切り替えれば同じ問題が起きないと言い切れるか(自社では検証していない)
- 「有界ドメイン」の境界線が業種によってどこまで動くか
「有界ドメイン」でしか自動応答は確定しない
自社が運用する確定配信の仕組みは、実行時に事前の索引だけを参照し、その場でLLMを呼び出さない。答えの元になる事実の集合を先に決め切り、そこに無い質問には答えを作らない構造である(出所: 自社の運用記録、確認日2026-09-06)。この構造で1会話あたりの実行コストは0.12円まで下がる(出所: 自社の運用記録、確認日2026-09-06)。範囲を区切るのはコストの都合ではなく、答えを保証できる範囲を先に決め切る設計思想の結果である。
小型モデルはFAQを読んでいるのに一般知識で答える
実例がある。受託先の健康食品メーカー(OEM)向けに構築した問い合わせ対応チャットボットで、FAQをそのままコンテキストとして渡し、小型のLLMに自然文で回答させる設計を試したことがある。「ISO認証は何を取得しているか」という質問に対し、LLMは「ISO 9001:2015とISO 14001:2015を取得している」と答えたが、FAQに明記されている正しい認証はISO22000とGMPだった(出所: 自社の運用記録、確認日2026-09-06)。FAQという「強い指示」があっても、食品会社に多いISO 9001/14001という訓練データ側の一般知識を優先してしまい、生成の温度を下げても再現した。
選択肢は3つ、選んだのは「LLMを外す」
このとき検討した対応は3つある。大型モデルへの切り替え、LLM出力の事後検証の追加、LLMを直接使わずFAQ原文をそのまま返す方法である。採用したのは3番目で、FAQ全件をキーワード一致度でスキャンし、最も近い項目を返す方式にした。この方式での回答ヒット率は91%だった(出所: 自社の公開事例、確認日2026-09-06)。「AIを使っている感」は、回答の中身を組み立てる部分ではなく、応答が返るまでのタイピング演出で出すことにした。
自動化の範囲を引く基準
引ける基準は単純である。規制・認証・価格など、間違えたときの影響が大きく答えが1つに決まる領域は、LLMに自然文生成として答えさせず、事前に用意した正解をそのまま返す。逆に、言い回しの揺れを吸収する部分はLLMを使ってよい。どこまでを事前に確定できるかは、業種によらず「事実の集合を有界にできるか」で決まる。この事前確定した集合を公開前にどう検査するかは公開前検査の記事、答えの集合に無い質問をどう扱うかは答えられない質問の記事で扱う。
自由度を残したままLLMに答えさせ、誤った案内がそのまま利用者に渡ってしまった結果、企業側が法的責任を問われた事例は、Air Canadaのチャットボット訴訟の記事で扱っている。
自社のチャットボット設計や自動化範囲の線引きについて相談したい場合は、お問い合わせから編集部まで連絡してほしい。
よくある質問
Q1. 自動応答に任せてよい範囲はどう決めるのか
答えの元になる事実の集合を先に確定できるかどうかで決める。規制・認証・価格のように間違いの影響が大きく答えが1つに決まる領域は、生成させずに事前に用意した答えをそのまま返す設計にする。
Q2. 小型のLLMだけの問題か
自社で実際に起きたのは小型モデル(Llama 3.1 8B)での事例であり、大型モデルであれば起きないかは検証していない。分からないこととして明記する。
Q3. LLMを外すとAIらしさが失われないか
回答の組み立てはFAQの原文をそのまま返す方式に変え、タイピングアニメーションなど応答までの演出でAIらしさを出す設計にした。回答の正確性と演出は分けて考えられる。
Q4. この基準は業種によって変わるか
有界ドメインにできるかという基準そのものは業種を問わないが、境界線がどこまで動くかは業種ごとに異なり、その点はこの記事だけでは分からない。