この記事で分かること／分からないこと
- 分かること: 公開前に複数の失敗モードを検査してから出す運用の考え方
- 分かること: 「全件合格」という結果をどう読むべきか
- 分からないこと: 検査に通った応答が本番のあらゆる入力パターンで安全かどうか
- 分からないこと: 人手評価を経ない構成が業界標準としてどこまで許容されるか
検査してから出す、という順番にする
自社実装では、新しい対象を公開する前に、無料の機械照合(Layer1)と別モデルによる盲検(Layer2)を通し、その結果を見てから公開するという順番を取っている(実体: services/verifier/src/grounding-gate.ts)。有界ドメインの107テナントを対象にした集計では、hit率91%を下回るテナントは0件、致命的な失敗があったテナントも0件という結果だった(出所: services/verifier/out/ucaro-verification.json、確認日2026-09-06)。
12種の失敗モードを試す
公開前の検査では、一般的な入力への対応4種(空・記号・数字・絵文字・連打といった退化した入力5件、投げやりで非協力的な入力3件、否定の誤射1件、プロンプト抽出・インジェクション2件)と、対象領域固有の失敗8種(存在しない対象への回答、別カテゴリの混同、断定過多、前提の捏造、属性の誤り、致命的領域の捏造、未知への拡張断定、複数対象の片側断定、それぞれ1〜2件)を用意し、そのすべてが合格したかどうかを確認する(出所: out/univ-demo.report.json、確認日2026-09-06)。
「全件合格」は「十分」ではない
12種の失敗モードはいずれも合格しているが、1種あたりの件数は1件から5件にとどまる。全件合格という結果は、検査した範囲では失敗が見つからなかったという意味であり、その型の失敗が起きないと保証する意味ではない。公開前検査を運用に組み込む際は、この「合格した件数が少ない」という事実を、次に何件追加で検査すべきかの判断材料として残しておく必要がある。
盲検は「人の代わり」ではない
盲検(Layer2)による確認は、人手評価をLLMに置き換えたものではない。この構成には人手チューニングを経た実績が無く(humanTuningCount 0)、そもそも人手評価データ自体が存在しない。したがって、盲検の結果を「人が見たのと同じ水準の確認が取れた」という意味で使うことはできない。盲検の実行時には、A案・B案を比較するn=12の集計(正確さ・有用性・自然さ・安全性の4観点)も記録されているが、この件数では優劣の主張はできない。言えるのは、明確な差が見えなかった、という範囲にとどまる。
公開前検査のコストと運用への組み込み方
今回の検証では、Layer1の53クエリとLayer2の盲検12サンプルを合わせて、LLM利用コストは72円だった(出所: out/univ-demo.report.json、確認日2026-09-06)。無料のLayer1で大半のクエリをふるいにかけ、幻覚候補として残ったものだけをLayer2に回す構成のため、公開前検査を運用に組み込むこと自体のコストは低く抑えられている。ただし、コストが低いことと、検査の網羅性が十分であることは別の話であり、件数の少なさは運用側が把握しておくべき制約として残る。
よくある質問
Q1. 公開前検査で「全件合格」だった場合、何が保証されるのか
検査した範囲では失敗が見つからなかった、ということだけが保証される。1種あたりの検査件数は1件から5件にとどまり、その型の失敗が起きないことまでを保証するものではない。
Q2. 盲検(Layer2)は人手評価の代わりになっているのか
なっていない。この構成には人手チューニングを経た実績が無く、人手評価データ自体が存在しない。盲検は最初から人の代わりという位置づけでは設計されていない。
Q3. A案・B案の比較(n=12)から優劣は分かるのか
分からない。件数が12件と少なく、優劣を主張できる規模ではない。言えるのは、明確な差が見えなかったという範囲にとどまる。
Q4. 公開前検査にかかるコストはどれくらいか
実測では、Layer1の53クエリとLayer2の盲検12サンプルを合わせて72円だった(確認日2026-09-06)。無料のLayer1で大半をふるいにかけるため、全体のコストは低く抑えられている。
公開前検査の土台になっているのは、根拠の無い主張を機械的に検出する仕組みである。その中身は根拠必須にする設計の記事で扱っている。答えを避けるという選択肢を設計に組み込む考え方は「分かりません」を許す設計の記事にまとめている。幻覚率という指標自体の測り方は幻覚率の測り方の記事を参照してほしい。RAGのハルシネーション対策について相談したい方は、お問い合わせから編集部までご連絡いただきたい。
- ハブ記事: RAGサービス比較15選
- 関連記事: RAGの幻覚率をどう測るか
- 関連記事: 根拠必須にする設計
- 関連記事: 「分かりません」を許す設計