この記事は、評価の失敗学に関する検証シリーズの1本である。自社の検証で、「正解」として使ったラベルと、AIが付けた「出典」の両方について、一次資料まで遡らずに採用した結果、後から大きな手戻りになった事故が起きた。どちらも、書かれている記述を検証済みの事実と取り違えたことが原因だった。
この記事で分かること
- 正解ラベルをそのまま採用したことで何日分の作業が無駄になったか
- AIエージェントが付けた出典に、どういう種類の誤りが起きるか
- 採用前に一次資料まで遡って検証する具体的な手順
この記事で分からないこと(正直に書く)
- 一次資料での検証を自動化できる範囲はどこまでかは検証していない
- 検証担当を別のAIエージェントにすれば、常に誤りを拾えるとは限らない
「確定している」という記述を信じて、3日分の数値を積み上げた
音声データの話者分離作業で、ある話者に「確定している」と記述されたラベルを正解として採用し、集中度0.807/0.844、純度0.912、比率2.083といった数値を積み上げた。だが実際の収録データを確認すると、話者分離は一度も行われておらず、2人が参加する収録の音声がまるごと1人分のフォルダに入っていただけだった。選別に使われていたのは音質と長さだけで、3日分の作業と全ての数値を撤回した(出所: 自社の運用記録、確認日2026-09-06)。撤回したはずの比率2.083は、後続の検証で2回、参照値として蘇りかけた。
出典付きの表は、一次資料と突き合わせると誤りだらけだった
別の検証では、複数のAIエージェントに提案資料の作成を任せ、それぞれに「出典を明記すること」と指示した。見た目は出典付きの表が揃っていたが、別の担当に一次資料まで開かせて突き合わせると、帰属の誤り(異なる発行元の数字を取り違える)、原文に無い範囲への書き換え(相場を「15〜20%」としたが原文は「5〜15%」で、結論が逆転する)、統計の意味の取り違え(利用率を相談率のように使う)、足し算・割り算で作った数字を出典値のように書く、といった誤りが多数見つかった(出所: 自社の運用記録、確認日2026-09-06)。
何を測っているつもりで、実際は何を測っていたか
前者では「話者ごとの発話の特徴」を測っているつもりで、実際は検証されていないラベルの上に積み上げた計算結果を測っていた。後者では「出典の充実度」を検査したつもりで、実際は「出典欄が埋まっているという体裁」を検査していただけで、その出典が本当にその数字を言っているかは検査していなかった。どちらも、検証済みに見える記述を、検証済みの事実と取り違えていた。
なぜ気づけなかったか
「確定している」という記述は、それを書いた本人も検証していなかったが、後から読んだ側はそれを前提にしてしまった。汚れた正解の上に積んだ数値は、精緻に見えるほど疑われにくい。出典についても、AIエージェントが付けた出典は「候補」であって「確認済み」ではないという区別を、検証の指示に明示していなかった。出典欄が埋まっていることと、その出典が実在してその数字を言っていることは別の要件であり、前者だけを検査していた。
どう直したか、そして再発防止
「正解」として使うラベルは、採用前に出所を一次資料(収録の実体、収集の手順)まで辿って確認する運用にした。ラベルを伏せた対照(交互に付け替えたラベルで同じ数字が再現しないか)や、独立した系統との一致でも確かめる。どれも通らない数値は「一致率」であって「正解率」とは書かない。出典についても、AIエージェントが付けた出典は常に候補として扱い、別の担当者が一次資料(元のページやPDF)まで開いて、出典が実在するか、数字が原文と一致するか、主張と統計の意味が一致するかの3点を確認してから採用する。確認できなかった項目は、推測で埋めずに「公開情報なし」として扱う。
判定器が測定対象自体に盲になっていた事例は評価器が測定対象に盲だったときの記事にまとめている。疎な性質を平均で測ると差が消える事故は姉妹記事「疎な性質を平均で測る事故の記事」、生成役と評価役を分ける設計は姉妹記事「生成と評価を分ける設計の記事」を参照してほしい。
自社のデータ検証・出典確認の体制について相談したい場合は、お問い合わせから編集部まで連絡してほしい。
よくある質問
Q1. 「確定している」というラベルの記述を、なぜそのまま信じてはいけないのか
その記述を書いた本人が検証していない可能性があるため。自社の事例でも、話者分離が一度も行われていないデータに「確定している」という記述が残っており、3日分の数値を撤回する結果になった。
Q2. AIエージェントが付けた出典で、どんな種類の誤りが多かったか
異なる発行元の数字を取り違える帰属の誤り、原文に無い範囲へ書き換える誤り、統計の意味を取り違える誤り(利用率と相談率の混同など)、計算で作った数字を出典値のように書く誤りが見つかった。
Q3. 正解ラベルを採用する前に、何を確認すればよいか
出所を一次資料まで辿って確認し、ラベルを伏せた対照で同じ数字が再現しないかを確かめ、独立した系統との一致も見る。どれも通らない数値は「一致率」と書き、「正解率」とは書かない。
Q4. 出典の確認は誰がどう行えばよいか
出典を付けた担当者とは別の担当者が、一次資料(元のページやPDF)まで開いて、出典の実在・数字の一致・統計の意味の一致の3点を確認する。確認できない項目は推測で埋めず「公開情報なし」として扱う。