動画で見る（4分44秒）
章から見る
動画の台詞を読む
部長：はい、お電話代わりました。……え、うちのチャットボットが、そう言ったんですか？
部長：お客様が、あとから申請しても割引になる、ってボットに言われたって
トラ猫：うちの規定では、あとからの申請は、受けていませんよね
部長：ボットが勝手に言ったことよ。正しい規定は、サイトに書いてあるもの
トラ猫：正しい規定は、別のページにある。カナダでは、その言い分が、裁判で通りませんでした
部長：……え？
チャットボットの誤った案内を、カナダの判決と、編集部がボットを作って試した記録から見ていきます。
トラ猫：2022年11月、祖母を亡くした男性が、Air Canadaのサイトで、航空券を探していました
トラ猫：サイトのチャットボットは、こう案内しました
トラ猫：搭乗後でも、発券から90日以内に申請すれば、遺族割引が適用される
トラ猫：でも実際の規定は、旅行が終わった後の申請を、認めていませんでした
部長：それで、会社は返金したの？
トラ猫：断りました。そして、裁判になりました
トラ猫：2024年2月、カナダの裁判所は、会社に、合計812.02カナダドルの支払いを命じました
部長：なんだ、金額は小さいじゃない
トラ猫：重いのは、金額より、判決の理屈です
トラ猫：ボットは、会社のウェブサイトの一部にすぎない。サイトの情報には、全部、会社が責任を負う
トラ猫：正しい規定が別のページにあったことも、免責の理由として、認められませんでした
部長：……ボットの言葉は、会社の言葉なのね
部長：じゃあ、AIの答えは参考です、って書いておけば？
トラ猫：記事は、この判決の理屈では、その表示も、免責の根拠にならない、と見ています
部長：うちはFAQを全部、読ませてあるわ
トラ猫：編集部も、受託先の健康食品メーカーのボットで、同じ作りを試しました。FAQをそのまま渡して、AIに文章で答えさせます
トラ猫：ISO認証は何を取得しているか、と聞くと、こう答えました
トラ猫：FAQに書いてある正しい答えは、ISO 22000とGMPです
部長：……FAQを読んでるのに？
トラ猫：食品の会社には、9001と14001が多い。AIが元から知っている一般の知識が、FAQに勝ってしまったんです
トラ猫：答えのばらつきを抑える設定にしても、同じ答えが出ました
部長：もっと大きいAIなら、間違えないんじゃない？
トラ猫：大きいAIで起きないかは、確かめていません。考えた直し方は、3つです。大きいAIに替える
トラ猫：AIの答えを、後から確かめる
トラ猫：そして、AIに文章を作らせず、FAQの原文をそのまま返す。選んだのは、3つ目です
部長：AIらしさが、無くなるじゃない
トラ猫：AIらしさは、答えが出るまでの、文字を打っているような見せ方で出しました
部長：FAQをそのまま返すだけで、質問に答えられるの？
トラ猫：質問の言葉に一番近いFAQを探して返す作りで、回答のヒット率は、91%でした
部長：残りの9%は、どうなるの？
トラ猫：記事に、その内訳はありません。ただ、FAQに無いことを聞かれたら、無理に埋めずに、分かりません、と返して、人に渡します
トラ猫：返金のように、お金や約束に関わる判断は、ボットに決めさせず、人が確かめてから決めます
トラ猫：線の引き方は、単純です。規制、認証、価格。間違えると影響が大きく、答えが1つに決まるものは
トラ猫：AIに文章を作らせず、用意した答えを、そのまま返します。言い回しの揺れを吸収するところは、AIを使って構いません
部長：……うちの割引も、答えは1つね
トラ猫：もう1つ。Air Canadaの判決は、ボットとのやり取りが、証拠として残っていたから、成り立ちました
トラ猫：記事は、会社の側も、その記録を読み返していれば、裁判の前に、誤りに気づけた、と書いています
部長：……会社は、読んでなかったのね
トラ猫：記事の対策は、会話の記録を残して、月に1回、いくつか抜き出して、読み返すことです
部長：さっきのお客様に、折り返す前に、ボットが何て答えたか、見ておかないと
トラ猫：会話の記録は、管理画面から開けます
部長：……入れてから、一度も開いたことがないわ
トラ猫：ボットの答えを最初に読んだのは、お客様だったんですね
部長：……割引の質問だけでも、今日、全部読むわ
あなたの会社のボットは、昨日、お客様に何と答えましたか。記事は、AIコンパス、チャットボット、で検索。
問い合わせ対応チャットボットで、何を自動応答に任せてよく、何を任せてはいけないかの線引きは、業種を問わず同じ基準で引ける。自社が受託先向けに構築したチャットボットで実際に起きたLLMの誤答をもとに整理する。
この記事で分かること
- 自動応答に任せてよい範囲を決める基準
- 小型LLMがFAQを渡されていても一般知識で答えてしまった実例
- 検討した3つの選択肢のうち、どれを採用したか
この記事で分からないこと(正直に書く)
- 大型モデルに切り替えれば同じ問題が起きないと言い切れるか(自社では検証していない)
- 「有界ドメイン」の境界線が業種によってどこまで動くか
「有界ドメイン」でしか自動応答は確定しない
自社が運用する確定配信の仕組みは、実行時に事前の索引だけを参照し、その場でLLMを呼び出さない。答えの元になる事実の集合を先に決め切り、そこに無い質問には答えを作らない構造である(出所: 自社の運用記録、確認日2026-09-06)。この構造で1会話あたりの実行コストは0.12円まで下がる(出所: 自社の運用記録、確認日2026-09-06)。範囲を区切るのはコストの都合ではなく、答えを保証できる範囲を先に決め切る設計思想の結果である。
小型モデルはFAQを読んでいるのに一般知識で答える
実例がある。受託先の健康食品メーカー(OEM)向けに構築した問い合わせ対応チャットボットで、FAQをそのままコンテキストとして渡し、小型のLLMに自然文で回答させる設計を試したことがある。「ISO認証は何を取得しているか」という質問に対し、LLMは「ISO 9001:2015とISO 14001:2015を取得している」と答えたが、FAQに明記されている正しい認証はISO22000とGMPだった(出所: 自社の運用記録、確認日2026-09-06)。FAQという「強い指示」があっても、食品会社に多いISO 9001/14001という訓練データ側の一般知識を優先してしまい、生成の温度を下げても再現した。
選択肢は3つ、選んだのは「LLMを外す」
このとき検討した対応は3つある。大型モデルへの切り替え、LLM出力の事後検証の追加、LLMを直接使わずFAQ原文をそのまま返す方法である。採用したのは3番目で、FAQ全件をキーワード一致度でスキャンし、最も近い項目を返す方式にした。この方式での回答ヒット率は91%だった(出所: 自社の公開事例、確認日2026-09-06)。「AIを使っている感」は、回答の中身を組み立てる部分ではなく、応答が返るまでのタイピング演出で出すことにした。
自動化の範囲を引く基準
引ける基準は単純である。規制・認証・価格など、間違えたときの影響が大きく答えが1つに決まる領域は、LLMに自然文生成として答えさせず、事前に用意した正解をそのまま返す。逆に、言い回しの揺れを吸収する部分はLLMを使ってよい。どこまでを事前に確定できるかは、業種によらず「事実の集合を有界にできるか」で決まる。この事前確定した集合を公開前にどう検査するかは公開前検査の記事、答えの集合に無い質問をどう扱うかは答えられない質問の記事で扱う。
自由度を残したままLLMに答えさせ、誤った案内がそのまま利用者に渡ってしまった結果、企業側が法的責任を問われた事例は、Air Canadaのチャットボット訴訟の記事で扱っている。
自社のチャットボット設計や自動化範囲の線引きについて相談したい場合は、お問い合わせから編集部まで連絡してほしい。
よくある質問
Q1. 自動応答に任せてよい範囲はどう決めるのか
答えの元になる事実の集合を先に確定できるかどうかで決める。規制・認証・価格のように間違いの影響が大きく答えが1つに決まる領域は、生成させずに事前に用意した答えをそのまま返す設計にする。
Q2. 小型のLLMだけの問題か
自社で実際に起きたのは小型モデル(Llama 3.1 8B)での事例であり、大型モデルであれば起きないかは検証していない。分からないこととして明記する。
Q3. LLMを外すとAIらしさが失われないか
回答の組み立てはFAQの原文をそのまま返す方式に変え、タイピングアニメーションなど応答までの演出でAIらしさを出す設計にした。回答の正確性と演出は分けて考えられる。
Q4. この基準は業種によって変わるか
有界ドメインにできるかという基準そのものは業種を問わないが、境界線がどこまで動くかは業種ごとに異なり、その点はこの記事だけでは分からない。