この記事で分かること／分からないこと
- 分かること: 評価設計の骨格(無料の機械照合と盲検の2層構成)
- 分かること: 標本数(F6)と失敗モードの種類(F7)が評価設計にどう効くか
- 分からないこと: 業種を問わず通用する「十分な標本数」の一律の目安(主張したい精度によって変わる)
- 分からないこと: 12種以外の失敗モードが存在するかどうか(自社では未検証)
評価設計の骨格: 2層検査
自社の評価設計は、無料の機械照合(Layer1)と、別モデルによる盲検(Layer2)の2層で構成されている。Layer1は、応答から事実主張を取り出し、正規化した真実集合と照合して、裏付けの無いものを幻覚候補として挙げる仕組みであり、Layer2はLayer1で候補になったものを対象に確認する仕組みである(出所: services/verifier/src/grounding-gate.ts、確認日2026-09-06)。課金のかかる判定を最初から全件に行うのではなく、無料の機械照合でふるいにかけてから確認に回すという順序が、評価設計のコストを抑える骨格になっている。
「合格」をどう定義するか
評価設計では、何をもって合格とするかをあらかじめ決めておく必要がある。自社の集計では、hit率の合格基準を91%と定め、これを下回るテナントが無いことを確認している(出所: services/verifier/out/ucaro-verification.json、確認日2026-09-06)。基準を先に決めずに検査を始めると、結果を見てから基準を後付けすることになり、評価としての意味が弱くなる。基準は、対象業務で許容できる誤りの水準から逆算して決めるべきものであり、他の対象の基準をそのまま流用してよいとは限らない。
標本数が効く理由
評価設計で見落とされやすいのが、標本数の扱いである。0件の失敗を観測した場合でも、その標本数によって「本当の失敗率がどこまでなら矛盾しないか」という95%信頼上限は大きく変わる。自社の実測では、盲検12件で失敗0件の場合は上限22.1%、機械照合53件で失敗0件の場合は上限5.5%となる(出所: 二項比率信頼区間の公式、確認日2026-09-06)。この関係の詳細は幻覚率0%は何件で言えるかの記事に整理している。評価設計を組む際は、主張したい精度の水準に見合う標本数を先に見積もっておく必要がある。
12種の失敗モードが効く理由
もう1つ効くのが、失敗モードの種類である。自社の公開前検査では、退化した入力(空・記号・数字・絵文字・連打)、投げやりで非協力的な入力、否定の誤射、プロンプト抽出・インジェクションといった一般的な失敗4種と、対象領域固有の失敗8種をあわせた12種を用意し、いずれも合格している(出所: out/univ-demo.report.json、確認日2026-09-06)。ただし12種はいずれも1件から5件しか検査しておらず、全件合格という結果は、検査した範囲では問題が見つからなかったという意味にとどまる。評価設計を組む際は、この12種を出発点にしつつ、対象業務で起こりうる固有の失敗パターンを追加していく必要がある。
評価設計をどう組み立てるか
評価設計を組む手順は次の通りである。まず、対象業務で許容できる誤りの水準からhit率などの合格基準を決める。次に、その基準を主張するために必要な標本数を、信頼上限の表から見積もる。そして、一般的な失敗4種と対象領域固有の失敗パターンを洗い出し、それぞれについて何件検査するかを決める。最後に、無料の機械照合で大半をふるいにかけ、候補になったものだけを盲検などのコストのかかる確認に回す構成にすることで、評価にかかるコストを抑える。
よくある質問
Q1. 評価設計の骨格はどうなっているか
無料の機械照合(Layer1)で応答中の事実主張を正規化照合し、候補になったものを別モデルによる盲検(Layer2)で確認するという2層構成である。
Q2. 「幻覚率0%」という結果はそのまま使えるか
使えない。標本数によって95%信頼上限が変わり、盲検12件で0件なら上限22.1%、機械照合53件で0件なら上限5.5%までしか言えない。標本数を併記しない「0%」は評価として不十分である。
Q3. 失敗モードは何種類用意すればよいか
自社では一般的な失敗4種と対象領域固有の失敗8種、あわせて12種を用意しているが、いずれも1件から5件しか検査していない。対象業務に応じて固有の失敗パターンを追加する必要がある。
Q4. hit率の合格基準はどう決めるべきか
自社では91%を基準としているが、これは対象業務の性質から決めた値であり、他の対象にそのまま流用できるとは限らない。基準は検査を始める前に決めておく必要がある。
評価設計の前提として、最初のテナントで何を確認すべきかは小さく作る記事にまとめている。評価に使う文書の整理はデータの棚卸しの記事を、標本数と信頼上限の詳しい関係は幻覚率0%は何件で言えるかの記事を参照してほしい。RAG導入の進め方について相談したい方は、お問い合わせから編集部までご連絡いただきたい。
- ハブ記事: RAGサービス比較15選
- 関連記事: 最初に着手する業務の選び方
- 関連記事: 導入前に自社の現状を実測する
- 関連記事: 幻覚率0%を主張できる標本数