この記事で分かること／分からないこと
- 分かること: 数値・単位を他の主張と分けて機械的に照合する理由
- 分かること: 自社実装が数値のどの部分をトークンとして抜き出しているか
- 分からないこと: 数値が文脈的に正しい対象と結び付いているかまでを機械的に保証する方法
- 分からないこと: 数値以外の複雑な事実主張を同じ精度で検査する方法
なぜ数値だけ特別扱いするのか
RAGの回答には、意見に近い文もあれば、数値のようにそれ自体が真偽をはっきり持つ主張もある。数値は表記のパターンが限られており、正規化さえ揃えれば文字列としての一致・不一致を機械的に判定しやすい。自社のグラウンディング検査(Layer1)が、事実主張の抽出対象を数値+単位や時期の語、固有名らしき語に絞っているのは、この「機械的に白黒つけやすいものから優先して検査する」という考え方に基づく(実体: services/verifier/src/grounding-gate.ts)。
何を数値トークンとして取り出しているか
実装では、数字の直後に単位・点・%・名・期のいずれかが続く形を数値トークンとして抽出している。前期・後期・通年といった時期を表す語も、性質が近いため同じ扱いになっている。抽出した後は、小文字化と記号(%を含む)の除去という正規化を行い、根拠集合のテキストに同じ文字列が含まれているかどうかだけを見る。主張中の数値トークンがひとつでも根拠集合に見つからなければ、その主張全体が裏付けの無いものとして扱われる。
数値だけを見る検査の限界
この照合はあくまで文字列としての包含関係を見ているにすぎない。数値そのものが根拠集合のどこかに存在すれば「裏付けあり」と判定されるため、数値が正しい対象と結び付いているかまでは見ていない。実測で観測された失敗モードには、評価方法や実施時期といった属性を誤って述べるケース(2件)、前提条件を捏造・誤って述べるケース(1件)、致命的な領域の情報を捏造するケース(2件)が含まれていた(出所: services/verifier/out/univ-demo.report.json、確認日2026-09-06)。いずれも件数は少なく、Layer1の機械照合だけでは防ぎきれない類型が残ることを示している。
数値照合が効く場面と、効かない場面
数値照合が最も効くのは、根拠集合に存在しない数字をそのまま作文してしまうような、単純な捏造のケースである。一方で、数字自体は根拠集合に実在するが、対応する対象を取り違えているようなケースは、この文字列照合だけでは検出できない。実測では、Layer1検査53件で幻覚候補は0件だったが、これは「5.5%以下」という95%上限の範囲でしか言えない実測であり(出所: out/univ-demo.report.json、確認日2026-09-06)、数値照合の網に掛からない誤りが潜んでいる可能性を否定するものではない。
よくある質問
Q1. なぜ数値だけを優先して機械的に照合するのか
数値は表記のパターンが限られており、正規化すれば文字列として一致・不一致を判定しやすい。意見に近い文よりも機械的に白黒つけやすいため、優先して検査する対象になっている。
Q2. 数値照合はどんな失敗を見逃す可能性があるのか
数字自体は根拠集合に実在するが、対応する対象を取り違えているようなケースは、文字列としての包含関係を見るだけの照合では検出できない。実測でも属性の誤りや前提条件の捏造といった型が観測されている(出所: out/univ-demo.report.json、確認日2026-09-06)。
Q3. Layer1の数値照合だけで幻覚をゼロにできるのか
できない。Layer1は一次推定であり、最終的な確定は別モデルによる盲検(Layer2)で行う。実測のLayer1検査53件で幻覚候補0件という結果も、「5.5%以下」という上限までしか言えない。
Q4. 数値以外の主張はどう扱われるのか
数値+単位、時期を表す語、固有名らしき語のパターンに当てはまらない主張は、Layer1の検査対象から外れる。固有名らしき語の照合は別記事で扱っている。
数字と結び付く対象そのものの照合は、固有名の扱いの問題でもある。その正規化をどこまでやっているかは固有名の照合の記事で扱っている。数値照合を含めた検査全体を公開前にどう運用するかは公開前検査の記事にまとめている。幻覚率という指標自体の測り方は幻覚率の測り方の記事を参照してほしい。RAGのハルシネーション対策について相談したい方は、お問い合わせから編集部までご連絡いただきたい。
- ハブ記事: RAGサービス比較15選
- 関連記事: RAGの幻覚率をどう測るか
- 関連記事: 固有名の照合
- 関連記事: 公開前検査の運用