この記事は、判断の再現とマルチエージェントに関する検証シリーズの1本である。個人化やキャラクター設計の議論は「どのモデルが強いか」に寄りがちだが、自社の検証では比較対象をモデル単体からシステム全体に変えると評価が反転する場面があった。
この記事で分かること
- 同一judgeでの評価が34.8%→65.2%まで変わった条件の違い
- Sonnet+Opus合意judgeで、劣位モデル側が87.0%まで評価された内訳
- 判定を担当したOpus自身の判定が示す意味
- 単独judgeのバイアスをどう扱ったか
この記事で分からないこと(正直に書く)
- 23件のプロンプト以外の設問構成でも同じ差が出るか
- 合意judgeの一致率がどこまで下がると結論が変わるか
同一judgeでも、条件を変えるだけで34.8%から65.2%に変わる
既存の配信者2名の掛け合いを題材に、23件のプロンプトで応答を生成し、同一judgeで評価する検証を行った。ベースの条件では34.8%だった評価が、条件を変えるだけで65.2%まで上がった。差は+30pt(出所: 自社の判断再現の検証記録、確認日2026-09-06)。モデル自体を変えていない以上、この差はモデル単体の性能では説明できない。
Sonnet+Opus合意judgeでは、劣位モデルが87.0%を取った
より厳密な評価のため、Sonnet+Opusの合意が取れた場合だけを集計するjudge構成に切り替えた。ハーネスと動的注入を組み合わせた劣位モデル側は87.0%、Opus単体側はわずか4.3%、TIEが8.7%だった(出所: 自社の判断再現の検証記録、確認日2026-09-06)。単体のベンチマークではOpusが優位でも、ハーネスと動的注入を含めたシステム全体で比較すると評価が逆転する。
Opus自身が、自己選好に反して劣位モデル側を選んでいる
この結果で注目すべきは、判定を担当したOpus自身が87%の場面で劣位モデル側を選んでいる点である(出所: 自社の判断再現の検証記録、確認日2026-09-06)。LLM judgeには自分と同じモデル系列の出力を高く評価する自己選好(self-preference)が知られているが、今回はその傾向に反する判定が出ている。判定者の系列を有利に判定する歪みでは、この結果は説明がつかない。
judgeのバイアスは、multi-judge・順序ランダム化・完全合意で締める
一方でjudge自体の設計にも脆さがあった。Sonnetに厳格なpromptを与えると全件がTIE化し、Opusを単独judgeにすると判定が偏った(出所: 自社の判断再現の検証記録、確認日2026-09-06)。単独judge・緩いpromptでの評価は採用できないと判断し、multi-judge・提示順序のランダム化・完全合意の3条件を揃えて初めて上記の数値を採用している。judge設計を締める前の評価は、モデル比較にもシステム比較にも使えない。
比較対象を単体モデルからシステム全体に切り替えると評価が反転する現象は、複数エージェントの批判が割れる記事や状況の表現で結果が反転する記事とも共通する。評価設計そのものの検証件数については、姉妹記事「標本数の記事」も参照してほしい。
自社の評価設計・ハーネス設計について相談したい場合は、お問い合わせから編集部まで連絡してほしい。
よくある質問
Q1. 同一judgeでの34.8%→65.2%は何が変わった結果か
モデル自体は変えず、ハーネスや動的注入を含めたシステム全体の構成を変えた条件による差である。モデル単体の性能比較では、この差は説明できない。
Q2. Sonnet+Opus合意judgeでの87.0%とは何を指すか
ハーネスと動的注入を組み合わせた劣位モデル側の評価が87.0%、Opus単体側が4.3%、TIEが8.7%だったという結果を指す。
Q3. Opusが劣位モデル側を選んでいるのはなぜ問題にならないのか
LLM judgeには自分と同系列のモデルを高く評価する自己選好の傾向が知られているが、今回はその傾向に反してOpus自身が劣位モデル側を選んでいる。判定者の系列を有利にする歪みでは説明がつかない結果である。
Q4. judgeのバイアスにはどう対応したのか
単独judge・緩いpromptでの評価は採用せず、multi-judge・提示順序のランダム化・完全合意の3条件を揃えて評価を締めている。