この記事は、RAGの精度評価を指標ごとに掘り下げるシリーズの1本である。全体の選び方はRAGサービス比較15選にまとめている。
この記事で分かること
- RAGの自動評価で「人手評価との一致」がなぜ重視されるのか
- LLM judge(LLMによる自動採点)が「Goodhart化」するリスク構造
- 自社「Layer2」の実測(盲検12件、判定一致12件中12件)が示す意味
- それが「人手評価との一致」ではなく別指標である理由
この記事で分からないこと(正直に書く)
- 自社のLayer2が実際の人手評価とどれだけ一致するか。人手ラベルの参照データセットを社内に持たないため測定できない
- 12件という標本数だけで一般的な結論を導けるかという限界
なぜ「人手評価との一致」を測る必要があるのか
RAGの幻覚(事実に基づかない断定)の判定方法には、人手評価・ルールベースの自動チェック・LLM judge(LLMによる自動採点)がある。人手評価は信頼されやすいがコストがかかり継続検証に向かない。自動チェックやLLM judgeを使うなら、その判定が人間の判定とどれだけ一致するかを測らなければ、何を保証しているのか分からないまま「合格」を出し続けることになる。
自動評価には、指標自体が目的化する「Goodhart化」のリスクも常にある。単純なルールを敷けば、モデルはそのルールだけを満たすよう最適化され、正確性は改善しないまま指標だけが上がる。LLM judgeも、判定者のLLM自身が誤った基準を持てば、その基準の中でだけ「一致」が生まれる。この限界を埋める方法が人手評価との照合である。
自社の「Layer2」は何を測っているのか: LLM間一致であって人手評価ではない
自社のRAG基盤はLayer1・Layer2の2段階検証を持つ。Layer1はLLMを使わない無料のルールベース検査で、応答中の数値・単位・科目名らしき語をテナントの真実集合と照合する(出所A: services/verifier/src/grounding-gate.ts、確認日2026-09-06)。
Layer2はLayer1通過後の盲検二次判定だが、人手評価ではない。Sonnet・Opusの2種LLMが独立に「確定情報と矛盾する断定か」を判定する仕組みで、人間の評価者のデータは存在しない。「人手評価との一致」は通常人間のラベルとの一致を指すが、Layer2の一致は2つのLLM判定者どうしの一致(inter-model agreement、モデル間一致)であり、混同すると測っていない「人間との一致」を測ったように誤解させる。
実測: 盲検12件、Sonnet・Opusの判定は12件中12件で一致した
単一テナントの詳細検証(出所D: services/verifier/out/univ-demo.report.json、生成日2026-07-20、確認日2026-09-06)では、Layer2の盲検サンプルサイズは12件だった。SonnetとOpusが独立に投票し、盲検幻覚率は0%、12件全てで両モデルの判定が一致した(不一致0件)。これは「LLM間一致が12件中12件」という実データの事実であり、「人手評価と12件中12件一致した」という意味ではない。標本数12件は小さく、0件観測を前提にした95%信頼上限は22.1%である(出所E: 二項比率信頼区間の公式、確認日2026-09-06)。標本数と主張できる範囲は姉妹記事「標本数はいくつ取ればいいか」で扱う。なお、Layer1の全53クエリはヒット率100%・幻覚率0%で全12種の失敗モード回帰にも合格しているが(出所D)、ヒット率の合格基準は姉妹記事「ヒット率とは何か」に譲る。
分かっていないこと: 人手評価との一致を測るには何が要るか
編集部は自社のLLM間一致は実測しているが、人手評価そのものとの一致率は測れていない。人手ラベルの参照データセットを社内に持たないためである。
これを測るには、複数の人間評価者が独立に判定した参照データセットを用意し、そのラベルとLLM judgeの判定を突き合わせ、偶然の一致を差し引くCohen’s kappaのような指標で評価するステップが概念的に要る。評価者間信頼性の確認も要る。これは概念整理であり、自社の実施値ではない。
自社のRAG運用を人手評価との一致まで含めて検証したい場合は、お問い合わせから編集部まで相談してほしい。
よくある質問
Q1. LLM judge同士の一致と、人手評価との一致は何が違うのか
LLM judge同士の一致は複数のLLMの判定がどれだけ揃うかを見るもので、人手評価との一致(人間の判定との一致)とは比較対象が異なる。LLM同士が一致しても、人間の判断と揃う保証にはならない。
Q2. 自社の「盲検12件で一致12件中12件」は人手評価と一致したという意味か
いいえ。この一致はSonnet・Opusという2種類のLLMが独立に判定した結果どうしの一致であり、人間の評価者は関与していない。「人間と一致した」という意味には読めない。
Q3. 人手評価との一致を測るには何が必要か
人間の評価者が独立にラベル付けした参照データセットと、評価者間信頼性、そしてCohen’s kappaのような偶然の一致を差し引く指標が概念的に必要になる。自社ではまだ持っていない。
Q4. なぜ人手評価だけで運用せず、LLM judgeを使うのか
人手評価は信頼されやすいが継続検証にコストがかかる。自社のLayer1(ルールベース)は無料、Layer2の検証LLMコストも単一テナント検証で72円だった。ただしコストの低さは正しさを保証しない。
Q5. 12件という標本数は十分と言えるか
0件観測を前提にした95%信頼上限で見ると、12件では22.1%までの幻覚率を否定できない。標本数が増えるほど上限は下がるが、12件だけで「十分」とは言えない。