自動応答に任せてよい範囲を有界ドメインとして区切ったとしても、答えが本当に正しいかは別に確認する必要がある。自社の公開前検査の構成と、出た数字の読み方を整理する。
この記事で分かること
- 無料の機械照合と有料の盲検、2層構成の役割分担
- 検証で実際に出た数字と、その数字が持つ限界
- 「幻覚率0%」だけでは書けない理由
この記事で分からないこと(正直に書く)
- 300件以上の大規模な標本で検査した場合にも0%が維持されるか
- 検査に通った回答が、実際の利用者にとって十分な質かどうか
無料の機械照合で先にふるいにかける
自社が実装している検査は2層構成である。Layer1はLLMを使わない無料の検査で、応答から数値や科目名らしき語などの事実主張を取り出し、あらかじめ用意した正解の事実集合と突き合わせる。主張の語がすべて正解集合に含まれていれば「裏付けあり」、含まれなければ幻覚候補として挙げる仕組みである(出所: 自社の運用記録、確認日2026-09-06)。課金のかかる判定の前に、無料の機械照合で大半をふるいにかけるのがこの層の役割である。
有料の盲検は最終確認に使う
Layer1で拾いきれない部分を確認するのがLayer2で、Layer1とは別のモデルによる盲検である。Layer1が一次推定、確定はLayer2という役割分担になっている(出所: 自社の運用記録、確認日2026-09-06)。この2層構成を、自社で構築した有界ドメインの107テナント・約9,933件のデータに対して動かした検証では、幻覚が出たテナントは0件、平均hit率は99.7%だった。この107テナントは自社で構築したものであり、顧客数ではない(出所: 自社の運用記録、確認日2026-09-06)。
「幻覚率0%」は標本数を書かなければ意味がない
0%という結果は、標本が小さいほど強い主張にならない。107テナント全体は1テナントあたりの検査件数の内訳を持たず、この数字から上限は計算できない。上限を計算できるのは別の切り出し2件だけである。Layer1は53クエリで幻覚率0%、Layer2の盲検は12サンプルで幻覚率0%だった(出所: 自社の運用記録、確認日2026-09-06)。0件を観測して言えるのは「発生率がその上限以下」までで、53件なら上限5.5%、12件なら上限22.1%にとどまる(出所: 自社の運用記録、確認日2026-09-06)。1%以下を主張するには300件規模の標本が必要で、いずれの検証もそこまで達していない。「幻覚率0%」だけで精度完璧と読むのは誤りで、母数を確認して初めて意味を持つ。
公開ゲートに何を組み込むか
公開前検査に組み込む価値があるのは、Layer1のような無料の機械照合をまず通し、母数の小さい領域や重要度の高い領域だけLayer2の盲検に回す段階分けである。この検証にかかったLLMコストは1回あたり72円だった(出所: 自社の運用記録、確認日2026-09-06)。少ないコストで前段に検査を挟めることが、実行時LLMを使わない構成(自動化してよい範囲の記事)を成立させる前提になる。範囲外の質問への扱いは答えられない質問の記事、人に渡す判断は有人対応への切り替えの記事を参照してほしい。
自然文生成に検査を挟まず公開した結果、誤った案内がそのまま利用者に渡ってしまった事例は、Air Canadaのチャットボット訴訟の記事で扱っている。
自社の公開前検査の設計について相談したい場合は、お問い合わせから編集部まで連絡してほしい。
よくある質問
Q1. Layer1とLayer2は何が違うのか
Layer1はLLMを使わない無料の機械照合で、事実主張を正解集合と突き合わせて裏付けの有無を判定する。Layer2は別モデルによる盲検で、最終確認として使う。
Q2. 幻覚率0%とはどういう意味か
検証した標本の中で幻覚が観測されなかったという意味で、標本が無限であることを意味しない。53件で0件なら真の発生率は5.5%以下、12件で0件なら22.1%以下としか言えない。
Q3. 107テナントというのは顧客数か
顧客数ではない。自社で構築した有界ドメインの検証対象が107テナントという規模だった、という意味である。
Q4. 公開前検査にかかる費用はどれくらいか
1回の検証にかかったLLMコストは72円だった。無料の機械照合を先に通すことで、費用のかかる判定に回す件数を減らしている。