この記事は、評価の失敗学に関する検証シリーズの1本である。自社では、生成と評価を別モデルに分ける設計を運用ルールにしている。この記事では、その根拠になった自社の運用記録と、外部に公開されている設計文書を突き合わせ、どこまで自社の観測と整合しているかを整理する。
この記事で分かること
- 生成と評価を同じモデルに任せると、自社でどういう問題が起きたか
- 外部の設計文書は、この問題をどう説明しているか
- 生成役と評価役を分けても残る限界
この記事で分からないこと(正直に書く)
- 何段階の評価役を重ねると効果が頭打ちになるかは検証していない
- 外部資料の数値(反復回数やスコアの推移)は自社の数値ではないため、そのまま引用していない
単独のモデルで生成と評価を回すと、思い込みが増幅する
自社では、ローカルLLMを使う構成の検討にあたり、単独のモデルで生成・自己評価・再生成を回すと、モデルが自分の分布に自分で高い評価を与えるエコーリングが起き、思い込みが強くなって精度が落ちるという判断があった(出所: 自社の運用記録、確認日2026-09-06)。実際に、生成役と同じモデルを採点役にも使った評価では、質の高い出力ほど低いスコアが返ることが確認されている。これを避けるため、生成にはある系統のモデル、判定には別系統のモデルを充てる構成を採用している。
Anthropicの設計文書は、この現象を「自己評価の甘さ」として説明している
Anthropicが2026年3月に公開したエンジニアリング記事「Harness design for long-running application development」では、生成を担当するエージェントに自分の成果物を評価させると、人間から見て品質が平凡であっても、自信を持って自分の作業を称賛する傾向があると述べられている。同記事は、作業を行うエージェントと判定するエージェントを分離することが、この問題に対処する有効な手立てになるとした上で、分離しただけでは判定側の甘さが完全には消えない(判定役もLLMである以上、LLMが作った出力に寛容になりがちである)とも明記している。それでも、独立した判定役を懐疑的になるよう調整する方が、生成役に自分の作業を批判させるよう仕込むよりもはるかに扱いやすいと説明している(出所: Anthropic公式エンジニアリングブログ「Harness design for long-running application development」https://www.anthropic.com/engineering/harness-design-long-running-apps、確認日2026-09-06)。
何を測っているつもりで、実際は何を測っていたか
自己評価ループを回している間、自社では「生成物の質が上がっているか」を測っているつもりだったが、実際には「モデルが自分の出力にどれだけ高い点を付ける傾向にあるか」という、モデル自身の性質を測っていた。生成役と評価役が同じである限り、この2つは区別できない。評価スコアが右肩上がりに見えても、それが生成物の改善なのか、自己評価の甘さが積み重なった結果なのかを、単独モデルの構成では切り分けられない。
なぜ気づけなかったか
自己評価は一見もっともらしい理由書きを伴って返ってくるため、判定の甘さだと気づきにくい。生成役と評価役が同じモデルであれば、両者は同じ基準・同じ癖を共有しており、内部で閉じた確認にしかならない。外部の設計文書でも、この甘さは分離しただけでは完全には消えないと明記されており、評価役を別モデルにすれば無条件に解決するわけではないという点は、自社の運用でも意識しておく必要がある。
どう直したか、そして再発防止
生成役と評価役を別系統のモデルに分ける構成を標準にした。ローカルLLMの構成では生成用と判定用に別系統のモデルを充て、蒸留データの選抜のように「自分の出力を自分で選ぶ」工程が入る場面では、選抜を別モデルと機械的な合否基準に任せるようにしている(出所: 自社の運用記録、確認日2026-09-06)。加えて、評価役自体もLLMである以上完全に中立ではないという外部資料の指摘を踏まえ、評価役の判定基準を懐疑的な方向に調整すること、既知の良い例・悪い例を評価役に定期的に通して判定の甘さが戻っていないか確認することを、運用の前提にしている。
判定器が測定対象自体に盲になっていた事例は評価器が測定対象に盲だったときの記事にまとめている。正解ラベルと出典を一次資料まで遡って検証する手順は姉妹記事「正解ラベルは出所を辿って検証する記事」、採点役を生成役と同じにした事故は姉妹記事「採点役のAIを生成役と同じにする事故の記事」を参照してほしい。
自社の評価パイプライン設計について相談したい場合は、お問い合わせから編集部まで連絡してほしい。
よくある質問
Q1. 生成と評価を同じモデルに任せると、なぜ問題になるのか
モデルが自分の分布に自分で高い評価を与えるエコーリングが起き、思い込みが強くなって精度が落ちる。自社でも、生成役と同じモデルを採点役に使った評価で、質の高い出力ほど低いスコアが返る現象が確認されている。
Q2. 外部の設計文書は、生成役と評価役の分離についてどう説明しているか
Anthropicが2026年3月に公開したエンジニアリング記事は、作業を行うエージェントと判定するエージェントを分離することが有効な手立てになると述べつつ、判定役もLLMである以上、LLMが作った出力に寛容になりがちで、分離だけでは甘さが完全には消えないとも明記している。
Q3. 評価役を別モデルにすれば、それだけで十分なのか
十分ではない。外部の設計文書も、評価役自体がLLM生成物に寛容になりがちだと指摘している。自社でも、評価役の判定基準を懐疑的な方向に調整し、既知の良い例・悪い例を定期的に通して判定の甘さが戻っていないかを確認する運用を組み込んでいる。
Q4. 自社ではローカルLLMの構成をどう分けているか
生成用と判定用に別系統のモデルを充てる構成にしている。蒸留データの選抜のように「自分の出力を自分で選ぶ」工程が入る場面でも、選抜は別モデルと機械的な合否基準に任せている。