この記事は、AIエージェントへの委任設計に関する運用記録の1本である。受託先向けの提案資料の別紙を複数のエージェントに分担して書かせたところ、全員が出典つきの表を作って戻ってきた。一次資料まで開いて突合した結果と、そこから直した手順をまとめる。
この記事で分かること
- 出典つきの表に、どのような種類の誤りが混ざっていたか
- 体裁の検査だけでは事実の誤りに気づけなかった理由
- 生成と検証を分けて確認すべき3つの点
この記事で分からないこと(正直に書く)
- 一次資料まで開く検証を挟んでも見落とした誤りが残っていないか
- 検証する側のエージェント自身が誤った判定をする割合
何をしたか — 提案資料の別紙を複数のエージェントに分担して書かせた
受託先向けの大型提案資料の別紙を、複数のエージェントに分担して書かせた。各エージェントには、統計や相場をWeb検索で裏取りし、出典を明記するよう指示した。全員が出典つきの表を作って戻ってきた(出所: 自社の運用記録、確認日2026-09-06)。
何が起きたか — 一次資料まで開くと、帰属誤りと数値の取り違えが大量に出た
見た目は完璧だったが、別のエージェントに一次資料(元ページ)まで開かせて突合したところ、帰属誤りと数値の取り違えが大量に見つかった(出所: 自社の運用記録、確認日2026-09-06)。具体的には、出典として挙げた企業と実際の出典企業が別だった例、原文のレンジと異なる数値を使ったため結論が逆転する例、比率の母数を取り違えた例(ある集団全体に対する比率を、別の集団の比率であるかのように使っていた)、複数の値を足し合わせて作った推定値を、あたかも出典に書かれている数値であるかのように書いていた例、数年前の古い統計をそのまま使っていた例、すでに閉鎖しているメディアを発表先として指定していた例、算術が合わない例があった。
なぜ気づけなかったか
生成する側のエージェントは「出典つきの表」という体裁を満たすことに最適化される。出典欄が埋まっていることと、その出典が実在してその数字を言っていることは別の要件だが、検査の自動化は前者(禁止語句・体裁)にしか及んでいなかった。事実の正しさを検査する工程が存在しなかったことが、見落としの穴になっていた。
どう直したか — 生成と検証を分け、3点を確認する
出典つきの文書を対外資料に出す前に、生成した側とは別のエージェントに、一次資料(元ページ)まで開かせて突合する運用にした。検証は3点をセットで確認する。出典は実在するか、数字は原文と一致するか、主張と統計の意味が一致するか(比率の母数、利用率と相談率の違いなど)。合わせて、複数の値を合算・按分して作った導出値は、出典にそのまま書かれている値と区別して残す。確認できなかったものは推測で埋めず、公開情報なしと書くか、記述ごと削除する。
再発防止の手順
- 出典つきの文書は、生成した側とは別のエージェントに一次資料まで開かせて突合する
- 検証は「出典の実在」「数字の一致」「主張と統計の意味の一致」の3点をセットで確認する
- 合算・按分などで作った導出値は、出典に書かれている値と区別して残す
- 確認できなかった項目は、推測で埋めずに公開情報なしと書くか削除する
- 対外資料に出す前の検証は、体裁の検査(禁止語句・レイアウト)と別の工程として設ける
出典を疑う前段として、指示・委任の直前に自問すべき点は「指示直前の3検査と汚れた作業ツリーへの委任」を、担当範囲を分けて重複を防ぐ書き方は「同じ10本のファイルを2系統のエージェントに書かせるとどうなるか」を、委任先が先に終了して成果が消える事故は「委任先が孫を起こしてから終了する事故」を参照してほしい。複数エージェントの判定をどこまで信じるかは「複数エージェントの批判が全滅判定を出すとき」にも通じる。
出典検証・対外資料の品質管理について相談したい場合は、お問い合わせから編集部まで連絡してほしい。
よくある質問
Q1. なぜ出典つきの表に誤りが混ざっていたのか
生成する側のエージェントは「出典つきの表」という体裁を満たすことに最適化される。出典が実在してその数字を言っているかまでは検査していなかった。
Q2. どのような種類の誤りが見つかったのか
出典企業の帰属違い、原文と異なるレンジの使用、比率の母数の取り違え、合算した推定値を出典値のように書く、古い統計の使用、閉鎖済み媒体の指定、算術の不一致があった。
Q3. どうすれば誤りを検出できるのか
生成した側とは別のエージェントに一次資料まで開かせて突合する。出典の実在、数字の一致、主張と統計の意味の一致の3点をセットで確認する。
Q4. 確認できなかった項目はどう扱うのか
推測で埋めず、公開情報なしと書くか、その記述ごと削除する。