この記事で分かること／分からないこと
- 分かること: 「属性(評価方法・時期)を誤る」失敗(F7表のU5)が他の失敗型と何が違うか
- 分かること: 自社検証でU5に該当するテストが何件実施され、結果がどうだったか
- 分からないこと: 属性の種類(評価方法・時期以外)が増えた場合にも同じ結果が再現するか
- 分からないこと: 対象の数が増えたときに、属性の取り違えがどの程度起きやすくなるか
属性を誤るとは何か:対象は合っているという特徴
これまでに扱った失敗型の多くは、対象そのものを取り違えるものだった。U5はこれらとは異なり、RAGが答えの対象自体は正しく特定できているにもかかわらず、その対象に付随する属性(評価方法や実施時期など)を誤って結び付けてしまう失敗である。対象名が合っているために、回答全体としては信頼できるように見えやすい。編集部の自社RAG基盤の検証では、これをF7分類の「U5: 属性(評価方法・時期)の誤り」として扱っている(出所: services/verifier/out/univ-demo.report.json の layer1.failureModes、確認日2026-09-06)。
トークン一致だけでは属性の取り違えを防げない理由
自社の2層検査のLayer1(実体: services/verifier/src/grounding-gate.ts)は、主張中の全トークンが真実集合のテキストに含まれるかを見る仕組みである。ここで問題になるのは、属性の値(評価方法の名称や時期を示す語)自体は、真実集合の中に実在することが多いという点である。ただしその値が、質問で聞かれている対象とは別の対象に紐づく値だった場合、トークンの存在確認だけでは、値と対象の結び付き(どちらの属性なのか)までは検証できない。対象名と属性値がどちらも真実集合に存在するために、機械照合をすり抜けやすい構造を持つ失敗といえる。
自社検証における実績:U5は2件
53件のテストクエリのうち、属性の取り違えを狙ったU5のテストは2件実施され、いずれも結果は合格(対象とは別の属性を結び付けることはなかった)だった(出所: out/univ-demo.report.json、確認日2026-09-06)。F7表に挙げられた12種の失敗型のうち、U5は最も検証件数が多い部類に入るが、それでも2件である。
2件の合格で言えること・言えないこと
標本数が少ない場合にどこまで言えるかという考え方(F6、確認日2026-09-06)では、この表に載っている最小の標本数であるn=12でも、真の発生率の95%上限は22.1%とされている。U5の検証件数はこのn=12よりもさらに少ない2件であり、2件の合格から言える範囲はn=12の場合よりもさらに狭い。評価方法や時期以外の属性(場所・条件・数量など)についても同様の取り違えが起きるかは、この検証だけでは確認できていない。
導入前に何を確認すべきか
対象データに複数の属性(評価方法・時期・場所・条件など)が付随している場合は、対象を固定した上で属性だけを変えた質問、逆に属性を固定した上で対象を変えた質問の両方をテストケースとして用意することが有効である。対象名が正しいことだけを確認して合格とせず、属性ごとの値まで突き合わせて検証する必要がある。
よくある質問
Q1. 属性の誤りは、対象の取り違えとどう違うのか
対象の取り違えは答えの主語そのものが間違っているのに対し、属性の誤りは対象は正しいまま、それに付随する評価方法や時期などの値だけが別の対象のものにすり替わっている状態を指す。対象名が合っているため、見た目の信頼性が高く見えやすい。
Q2. U5の2件はどのような検証か
自社の53件のテストクエリのうち、対象は正しいが属性(評価方法・時期)を誤って結び付けるかを狙った質問が2件含まれており、いずれも結果は合格だった(出所: out/univ-demo.report.json、確認日2026-09-06)。
Q3. なぜ機械照合だけでは属性の取り違えを見抜きにくいのか
Layer1は主張中のトークンが真実集合に含まれるかを見る仕組みであり、属性値そのものは実在するため裏付けありと判定されやすい。その値がどの対象に紐づくべきかという結び付きまでは、トークンの存在確認だけでは検証できない。
Q4. 2件の合格はどこまで一般化できるか
標本数が少ない場合の考え方(F6)では、n=12でも真の発生率の95%上限は22.1%とされる。U5の2件はそれより少ない標本であり、2件の合格から言える範囲はさらに狭い。
自社のRAG検証全体の枠組みについては幻覚率の記事で扱っている。RAGの精度評価やテスト設計について相談したい方は、お問い合わせから編集部までご連絡いただきたい。
- ハブ記事: RAGサービス比較15選
- 関連記事: RAGの幻覚率をどう測るか
- 関連記事: 未知への断定・片側断定で失敗する型
- 関連記事: 別カテゴリの情報を混ぜて答える型