この記事は、判断の再現とマルチエージェントに関する検証シリーズの1本である。判断再現の案件を受けるかどうかを決める段階で、自社が実際に使っている選別基準と、その基準を満たしても超えられない壁についてまとめる。
この記事で分かること
- 判断が再現可能なドメインの3条件
- 会話の運び方を再現しようとして全敗した検証
- 3系統を組み合わせても改善が頭打ちになる割合
- 「話者を当てられる」ことと「個人性を捉えている」ことの違い
この記事で分からないこと(正直に書く)
- 3条件を満たさないドメインでも部分的に再現できる余地がどこまであるか
- 頭打ちになる17%に共通する性質
判断が再現可能かは3条件で決まる
自社が案件を受ける前に確認している必要条件は3つある。①判断点が定義できる、②そのとき何が選べたかが観測できる、③選ばれなかった選択肢が記録に残る、である。対戦型ゲームの上位プレイヤー47名を対象にした検証では、この3条件を満たすドメインで買い判断のlift+0.109、立ち位置の判断でlift+0.363が確認できている(出所: 自社の判断再現の検証記録、確認日2026-09-06)。選択肢が見えるドメインでだけ、この種の再現は成立する。
3条件を満たさないと、前例を増やしても全敗する
3条件の重要性は、満たさない場合の失敗例からも裏付けられる。会話の運び方を字幕から再現する試みでは、4ターゲット×2話者の8組すべてで有意に負という結果になった。前例を3,000件まで増やしても改善しなかった(出所: 自社の判断再現の検証記録、確認日2026-09-06)。データ量では埋められない失敗であり、選択肢が観測できないドメインという構造上の問題だった。この経験から、同じ場面が繰り返すかどうかを追加の選別基準として使っている。3つのドメインを並べると、正解の有無よりも繰り返し回数の方が結果の並びと一致する。
条件を満たしても、17%はどの系統でも捕まらない
3条件を満たすドメインであっても、改善できる範囲には天井がある。未知環境の買い判断で、自分の癖を持ち込む・借りる・逆強化学習の3系統を組み合わせても、改善できるのは頭打ちで83%(39/47人)にとどまり、残り17%(8人)はどの系統でも捕まらない(出所: 自社の判断再現の検証記録、確認日2026-09-06)。3条件は「再現できる可能性がある」ことの必要条件であって、「全員を再現できる」ことを保証しない。
「当てられる」ことは「個人性を捉えている」ことと同じではない
選別のもう1つの落とし穴は、識別精度の高さを個人性の証拠と誤読することである。4名・1,157判断点の検証で、4値の話者同定は55.6%(偶然25%)、細粒度では97.2%まで上がった。しかし行動をすべて捨てたstate_only版が85.4〜97.2%でjoint版(64.9〜70.3%)より強く、当てているのは「誰の盤面か」であって個人性ではなかった。4クラス全員が同じ状態クラスタにいる場面は16個中1個(細粒度では0個)しかなく、共有状態に限って同定させると25.0%、つまり偶然と同じ精度まで落ちた(出所: 自社の判断再現の検証記録、確認日2026-09-06)。同定精度が高いという結果だけを見て「個人性を捉えた」と判定すると、この種の誤りを見逃す。
案件を受ける前の選別は、3条件を確認するだけでは終わらない。同じ場面の繰り返し、頭打ちの割合、そして識別精度が個人性の証拠かどうかまで確認して初めて、再現可能な範囲を正しく見積もれる。頭打ちが生まれる背景にある判断の性質の違いは相方の記憶喪失を扱う記事、判断を誰から借りるかという論点は判断を誰から借りるかの記事で扱っている。件数と有意性の考え方は姉妹記事「標本数の記事」を参照してほしい。
案件の選別基準について相談したい場合は、お問い合わせから編集部まで連絡してほしい。
よくある質問
Q1. 案件を受けるかどうかはどう決めているのか
判断点が定義できるか、そのとき何が選べたかが観測できるか、選ばれなかった選択肢が記録に残るか、という3条件を確認している。加えて同じ場面が繰り返すかどうかも見ている。
Q2. 3条件を満たさないとどうなるのか
会話の運び方を字幕から再現する試みでは、3条件を満たさないまま前例を3,000件まで増やしても、8組すべてで有意に負という結果だった。データ量では補えなかった。
Q3. 3条件を満たせば全員を再現できるのか
できない。未知環境の買い判断では3系統を組み合わせても改善が頭打ちで83%にとどまり、17%はどの系統でも捕まらなかった。
Q4. 話者を高精度で当てられれば、個人性を捉えていると言えるか
言えない。行動を全部捨てた版の方が高い精度で当たり、共有状態に限ると精度は偶然と同じ水準まで落ちた。当てていたのは個人性ではなく「誰の盤面か」だった。