この記事は、個人の判断パターンを前例から再現する「判断の再現」の検証結果をまとめるシリーズの1本である。判断の傾向を注入する試みが再現しなかった経緯は姉妹記事「判断の注入が害になるとき」、抽象度の設計は姉妹記事「抽象度には山がある」に譲る。標本設計の基本的な考え方はRAGの幻覚率0%は何件で言えるかにまとめている。
この記事で分かること
- 評価器が測定対象に盲であることと、効果が無いことは別だという区別
- 弁別可能タスクが0%だった構造上限診断の実測
- 表層的な特徴だけの分類器では説明できない改善(履歴lift)の実測
- 外部の評価用データセットを使う前に、事前知識の天井を測っておく必要性
- 評価器そのものが壊れていた実例(反証)
この記事で分からないこと（正直に書く）
- 弁別可能タスク0%という結果が、別の評価器設計でも同様に起きるかどうか
- 合議judgeの過去の評価値のうち、どこまでが片方の評価器の欠落による影響か(要再確認のまま)
「効果が無い」と「測れていない」は別の結論である
判断の再現を評価する際、評価器が差を検出できなかった場合、「その手法には効果が無い」と結論づけたくなる。しかし自社の検証では、評価器自体が測定しようとしている対象を判別できていないケースが見つかった。この場合、正しい結論は「効果が無い」ではなく「まだ測れていない」である(出所: 自社の判断再現の検証記録、確認日2026-09-06)。この2つを混同すると、実際には効いている手法を「無効」と判定して切り捨ててしまう。
弁別可能タスク0%という構造上限
評価器の構造そのものに上限があるかを診断したところ、様式のポリシー(話し方の型)の違いを評価器に判別させるタスクで、弁別可能なタスクの割合は0%だった(出所: 自社の判断再現の検証記録、確認日2026-09-06)。評価器がそもそも様式ポリシーの違いに盲であることを示す結果であり、この評価器を使って様式ポリシーの効果を測ろうとしても、有る無しにかかわらず差は検出されない。差が出なかったこと自体が「効果が無い証拠」にはならない。
表層的な特徴だけでは履歴の効果を説明できない
前例(履歴)を使うと判断の再現が改善するという結果について、その改善が「です・ます」調や終助詞、絵文字の有無、文の長さといった表層27特徴だけで説明できるかを検証した。結果、表層27特徴だけを使った分類器の精度は33.0%で、履歴を使わないLLMの精度と同じ水準だった(出所: 自社の判断再現の検証記録、確認日2026-09-06)。履歴によるliftは+5.6ptだが、この改善を表層的な特徴だけでは説明できていない。
さらに、履歴の中身を別人のものにすり替えるsham条件を用意して比較したところ、本人の履歴を使うfull条件は50.0%、すり替えたsham条件は38.6%、履歴なしのnone条件は33.0%となり、full対sham間の差は有意だった(p=0.00015、出所: 自社の判断再現の検証記録、確認日2026-09-06)。表層的な体裁ではなく、履歴の中身そのものが効いていることがこの比較から分かる。
外部の計器はまず事前知識の天井を測る
自社の評価器とは別に、公開データセットのLifeChoice(Apache-2.0)を使った検証も行った。ここで、場面の説明文すら与えないC0条件の正答率が79.0%、記憶(履歴)を与えない条件でも83.1%という結果になった(出所: 自社の判断再現の検証記録、確認日2026-09-06)。これは、評価に使うモデルがLifeChoiceの元になっている作品を事前学習の段階ですでに知っていることを示している。外部の公開データセットを評価に使う場合は、まずこのC0(事前知識だけでどこまで正答できるかという天井)を測ってから使う必要がある。天井が高いデータセットでは、判断の再現による上乗せ分が見えにくくなる。
反証: 計器そのものが壊れていた実例
評価器の壊れ方を示す実例もある。正解の文をあらかじめ履歴に混ぜておく旧oracle条件では、正答率は34.3%にとどまった。しかし「一字一句同じ番号を答えよ」と明示的に指示すると、正答率は100%(306/306)になった(出所: 自社の判断再現の検証記録、確認日2026-09-06)。正解が履歴の中にそのまま存在するのに34.3%しか当てられなかったのは、モデルの判断力ではなく、指示の出し方という計器側の欠陥である。
また、複数の評価器で合議する仕組みでは、片方の評価器が予算超過によって黙って単独評価にフォールバックしており、実質的に合議ではなく単独judgeの評価になっていたことも分かった(出所: 自社の判断再現の検証記録、確認日2026-09-06)。この間に出た過去の評価値は、再確認が必要な状態のままである。
評価器の設計自体が測定対象に盲になっていないか確認したい場合は、お問い合わせから編集部まで相談してほしい。
よくある質問
Q1. 評価器が差を検出できなかったら「効果が無い」と判断してよいか
そのまま判断してはいけない。評価器自体が測定対象に盲であるケースがあり、その場合の正しい結論は「効果が無い」ではなく「まだ測れていない」である。
Q2. 弁別可能タスク0%とは何を意味するか
様式のポリシーの違いを評価器に判別させるタスクで、弁別できたタスクの割合が0%だったという構造上限の診断結果である。この評価器で様式ポリシーの効果を測っても差は出ない。
Q3. 履歴によるliftは表層的な特徴で説明できるのか
できない。です・ます調や絵文字の有無など表層27特徴だけの分類器は33.0%で履歴なしと同水準だった。履歴を別人のものにすり替えるsham条件との比較(full 50.0% vs sham 38.6%、p=0.00015)から、効いているのは内容そのものだと分かる。
Q4. 公開データセットを評価に使う前に何を確認すべきか
事前知識だけでどこまで正答できるかという天井(C0)を測るべきである。LifeChoiceでは場面文すら与えないC0条件で79.0%となり、モデルが元の内容を事前学習で知っていることが分かった。
Q5. 計器が壊れていた具体例はあるか
正解を履歴に混ぜた旧oracle条件は34.3%しか当てられなかったが、「一字一句同じ番号を答えよ」と明示すると100%になった。指示の出し方という計器側の欠陥が、判断力の欠如のように見えていた実例である。