この記事は、判断の再現とマルチエージェントに関する検証シリーズの1本である。「複数のエージェントに批判させれば見落としが減る」という前提そのものを、自社の失敗例で検証する。
この記事で分かること
- 上場企業の案件で、4視点の批判レビューが初回に出した判定
- 前提条件シートを原典照合してから再判定すると何が起きたか
- 自分の記憶由来の前提にも誤りが混ざっていた件数
- 再判定の具体的な手順
この記事で分からないこと(正直に書く)
- 4視点という数がそもそも適切だったか
- 前提シートを使わない他の案件でも同じ割合で撤回が起きるか
初回は4視点の批判が全滅判定を出した
上場企業の案件を対象に、4つの視点からレビューを行う批判エージェントの構成で検証した。初回の批判レビューは、4視点すべてが全滅判定を出した(出所: 自社の判断再現の検証記録、確認日2026-09-06)。複数のエージェントに批判させれば見落としが減るという前提に立てば、この全滅判定は案件そのものに深刻な問題があるという強いシグナルに見える。
前提条件シートを原典照合すると、指摘の過半が撤回された
そこで、批判の根拠になっている前提を1件ずつP番号付きの前提条件シートに書き出し、それぞれを原典と照合してから再判定する手順を挟んだ。原典照合後に同一エージェントを再開し、1件ずつ「維持/修正/撤回」を判定させたところ、指摘の過半が撤回または修正された(出所: 自社の判断再現の検証記録、確認日2026-09-06)。全滅判定は、案件の欠陥ではなく、批判が前提にしていた事実認識の誤りに起因していた部分が大きかった。
誤りは、自社の記憶由来の前提にも混ざっていた
さらに見落とせないのは、批判エージェントが参照した前提のうち、自社の記憶(過去の検証や既存資料からの引用)由来の前提にも2件の誤りが混ざっていたことである(出所: 自社の判断再現の検証記録、確認日2026-09-06)。批判の対象になった案件側の情報だけでなく、批判する側が持ち込んだ前提そのものが汚染源になり得るという点は、複数エージェント構成の設計で見落とされやすい。
手順: 前提シート→原典照合→1件ずつの再判定→未確認の隔離
再判定の手順は次の順に固定している。①批判の根拠になる前提をP番号と出典つきでシート化する、②各前提を原典と照合する、③同一の批判エージェントを再開し、1件ずつ「維持/修正/撤回」を判定させる、④原典に当たれなかった項目は[未確認]として確認要求リストに隔離し、判定に混ぜない。この手順を挟まずに初回の全滅判定をそのまま採用していれば、案件そのものを止める判断につながっていた。
「複数のエージェントに批判させれば精度が上がる」という単純な前提は、この案件では成立しなかった。批判の質は、批判エージェントの数ではなく、批判が依拠する前提を原典まで遡って検証したかどうかで決まっていた。同じ設計思想はモデル単体性能とシステム全体性能の記事や状況の表現で結果が反転する記事にも通じる。前提検証と標本数の関係は姉妹記事「標本数の記事」も参照してほしい。
批判レビュー・前提検証の設計について相談したい場合は、お問い合わせから編集部まで連絡してほしい。
よくある質問
Q1. 初回の全滅判定はそのまま採用しなかったのか
採用しなかった。前提条件シートを原典照合してから同一エージェントで再判定する手順を挟んだところ、指摘の過半が撤回または修正された。
Q2. なぜ全滅判定がそのまま出てしまったのか
批判エージェントが依拠していた前提のうち、原典と食い違うものが多く含まれていたためである。前提の誤りが、案件そのものの欠陥であるかのように見えていた。
Q3. 自社側の前提には誤りはなかったのか
自社の記憶由来の前提にも2件の誤りが混ざっていた。批判する側の前提も汚染源になり得るという前提で検証する必要がある。
Q4. 「複数エージェントに批判させれば精度が上がる」は間違いなのか
少なくともこの案件では、批判エージェントの数を増やすことよりも、前提を原典まで遡って検証する手順の有無が結果を左右した。数を増やすだけでは全滅判定の誤りは防げなかった。