この記事は、評価の失敗学に関する検証シリーズの1本である。自社の判断再現の検証で、ごく一部にしか現れない性質を全体の平均で測ってしまい、効果が「無い」ように見えた事故と、指標の分解能を測らないまま小さな差で有効な機構を撤回しかけた事故が起きた。どちらも、測定の設計を先に決めていれば防げた。
この記事で分かること
- 疎にしか現れない性質を平均で測ると、なぜ偽の「効果なし」が出るのか
- 指標の分解能を測る前に採否を決めると何が起きるか
- 疎な性質と分解能を測るための具体的な手順
この記事で分からないこと(正直に書く)
- どこからを「疎な性質」と呼ぶかの明確な閾値は定めていない
- 分解能を先に測る運用が、どこまでのコスト増を招くかは検証していない
その人らしさは、全体の1〜2割にしか出ない
判断の個性やその人らしさは、出力全体の1〜2割にしか現れない疎な信号である。それを全体の平均や多数決で測ると、8〜9割を占める汎用的な部分に薄まってゼロに見える偽の「効果なし」になる(出所: 自社の運用記録、確認日2026-09-06)。実際、過去の検証のいくつかで「効果が薄い」とした結論は、この形で疎な性質を密な計器で測った結果だった疑いがある。
6.3ptの低下で、効いていた機構を撤回するところだった
別の検証では、ある行動の到達率を指標にしていたが、1回の測定で得られる割当件数が49〜62件しかなく、ブートストラップで求めた95%区間の幅は19.3〜21.7ptあった。この幅を知らないまま、6.3ptの低下を根拠にある機構を撤回していたが、測り直すと静止継続10秒以上の指標はむしろ2.6倍改善(0.30〜0.36→0.122)しており、有効な機構を雑音で捨てるところだった(出所: 自社の運用記録、確認日2026-09-06)。同じ検証では、確信度に応じて回答対象を絞る動作点をあらかじめ20%に設定したところ、回答対象が減った分だけ分解能も±13ptまで落ち、観測された効果は判定不能だった。対象を絞らず全件で測り直すと、いずれも有意な効果(+14.8pt/+10.4pt)が確認できた(出所: 自社の運用記録、確認日2026-09-06)。さらに別の日には、同じ設定で4回測定した到達率が0.654〜0.880(幅22.6pt)まで散らばり、自分で決めていた棄却の目安19.3ptを超えていた(出所: 自社の運用記録、確認日2026-09-06)。
何を測っているつもりで、実際は何を測っていたか
前者では「その人らしさの変化」を測っているつもりで、実際は疎な信号が薄まった後の平均値、つまりほぼ計器のノイズ帯を測っていた。後者では「機構の効果」を測っているつもりで、実際は分解能を測らないまま1回の点推定同士の差、つまりサンプリングの揺れそのものを測っていた。どちらも、測ろうとした性質の分布の形(疎いか、密か)と、指標の設計が合っていなかった。
なぜ気づけなかったか
平均や多数決は密な性質には有効な測り方であり、それが常に正しいという思い込みがあった。指標が数値を返す以上、その数値がどれだけの雑音を含むかを別途確認する発想が抜けていた。分解能は「1回の測定区間の幅」だと考えていたが、実際に効いていたのは「同じ設定を複数回測った時の測定間のばらつき」で、前者は後者を過小評価する。
どう直したか、そして再発防止
密な性質(成立しているか、応答しているか)は平均や多数決で測るが、疎な性質(その人らしさ、判断の個性)はピーク検出・選択的予測・裾の統計など、どこか1箇所でも強く出たかを見る測り方に切り替えた。新しい指標を採否の判断に使う前には、ブートストラップか同一設定の複数回測定で95%区間の幅を先に出し、文書に残す運用にした(出所: 自社の運用記録、確認日2026-09-06)。分解能に満たない差では「効果が無い」と書かず「まだ測れていない」と書く。動作点をあらかじめ登録する場合は、その動作点での分解能を登録前に計算する。無情報対照は判定対象と同じ標本サイズで取り直す。
判定器が測定対象自体に盲になっていた別の事例は評価器が測定対象に盲だったときの記事にまとめている。指標が中身ではなく設定値を測っていた事故は姉妹記事「指標が測っていたのは中身ではなく設定値だった記事」、正解ラベルの出所を検証する手順は姉妹記事「正解ラベルは出所を辿って検証する記事」を参照してほしい。
自社の測定設計・分解能の検証について相談したい場合は、お問い合わせから編集部まで連絡してほしい。
よくある質問
Q1. 「疎な性質」とは何か、なぜ平均で測ると問題になるのか
出力全体の1〜2割にしか現れない性質のことで、その人らしさや判断の個性が該当する。平均や多数決で測ると、8〜9割を占める汎用的な部分に薄まってゼロに見える偽の「効果なし」になる。
Q2. 6.3ptの低下で機構を撤回しかけたのはなぜ問題だったのか
その指標のブートストラップ95%区間の幅が19.3〜21.7ptあり、6.3ptの差は分解能の範囲内だった。測り直すと別の指標(静止継続10秒以上)はむしろ2.6倍改善しており、有効な機構を雑音で捨てるところだった。
Q3. 疎な性質はどう測ればよいのか
ピーク検出、選択的予測(risk-coverage)、バッグ判定(どこか1箇所でも強く出たか)、裾の統計など、全体平均ではなく最も強く出た箇所を見る測り方に切り替える。
Q4. 指標の分解能はどう測るのか
ブートストラップ、または同一設定での複数回測定によって95%区間の幅を求める。「1回の測定区間の幅」だけでなく「同じ設定を複数回測った時の測定間のばらつき」で見ることが必要で、前者は後者を過小評価する。