この記事は、評価の失敗学に関する検証シリーズの1本である。自社の検証で、指標が会話の中身や個人の特徴ではなく、自分で決めた実装の設定値や、計測条件そのものを測ってしまっていた事故が2件起きた。1件は公開前に気づいて回避できたが、もう1件は精度の高さに惑わされかけた。
この記事で分かること
- 実装の設定値を変えると指標が連動して動く時、何が起きるか
- 同定精度が高くても個人性の証拠にならない条件
- 指標が中身を測っているかを事前に検査する手順
この記事で分からないこと(正直に書く)
- この検査手順を通過した指標が、別の条件でも同じ意味を持ち続けるかは未検証
- 共有状態のクラスタ数がどこまで増えれば十分と言えるかの基準は定めていない
閾値を上げれば機械的に動く指標で、危うく「改善」と報告するところだった
自社のAIキャラクターの会話で「話題が続かない」問題を直すため、話題を古いとみなす閾値を6から30に引き上げた。改善指標として、話題転換(pivot)の発生率を使おうとした(出所: 自社の運用記録、確認日2026-09-06)。しかし閾値を上げれば転換の発生率は下がる。それは実装の定義から機械的に導かれる帰結であり、会話が良くなった証拠にはならない。同じ日にもう1件、話題が失われた比率を測る指標で、プロの配信を対照に取ると27/27=100%喪失、自社側は70%という結果が出た。だが指標が実際に測っていたのは会話の質ではなく、判定に使ったモデルの好みだった(出所: 自社の運用記録、確認日2026-09-06)。
同定精度97.2%は、個人性の証拠ではなかった
別の検証では、複数の配信者の対戦データから、どの配信者の場面かを当てる話者同定を行った。4値の同定は55.6%(偶然25%)、計測手段を伏せても70.3%、細かい粒度では97.2%まで通った。しかし切り分けると、実際の選択行動を全て捨てて盤面の状態だけから当てた版の方が、行動込みの版より高い精度(85.4〜97.2% 対 64.9〜70.3%)を出した。さらに、比較対象の全員が同じ状態にいるクラスタは16個中1個しかなく、共有状態に限定すると精度は25.0%、つまり偶然と同じ水準まで落ちた。加えて、自分の残り体力を示す表示を自動読み取りできた割合が配信ごとにほぼ完全な指紋になっており、計測装置そのものが配信を区別していた(出所: 自社の運用記録、確認日2026-09-06)。
何を測っているつもりで、実際は何を測っていたか
前者では「会話の質」を測っているつもりで、実際は自分がいじった閾値パラメータと、判定に使ったモデルの好みを測っていた。後者では「個人らしさ」を測っているつもりで、実際は各配信固有の盤面状態と、画面読み取り装置の性能差という、内容と無関係な条件を測っていた。どちらも、自分で決めた設定や条件を、自分が作った指標で確かめる閉じた輪になっていた。
なぜ気づけなかったか
指標の値が動くこと自体は本物に見える。閾値を上げれば転換率が下がるのは事実であり、数値としては「効果があった」ように読める。同定精度が偶然を大きく超えて97.2%まで通ったことも、それだけを見れば強い証拠に見える(出所: 自社の運用記録、確認日2026-09-06)。だが「この数値は、自分が今いじったパラメータの変化にそのまま連動するだけではないか」「行動を全部捨てても同じ精度が出ないか」という問いを、指標を採用する前に立てていなかった。
どう直したか、そして再発防止
会話の質は、閾値と無関係な中身の指標に置き換えた。直前の発話と内容語を共有する発話の割合(連鎖率)と、連続して繋がったターンの最長連鎖を使い、対照には自社の設定と無関係に決まる外部の実測(プロ配信の反復18.9%・短い発話25.1%・言い切り6.3%という型)を置いた(出所: 自社の運用記録、確認日2026-09-06)。同定精度については、採用前に3つの検査を通す運用にした。行動を全部捨てた版が同等以上に当たらないか、比較対象の全員が共有する状態クラスタが十分にあるか、共有状態に限定した時の精度が偶然に落ちないか。1つでも該当すれば、個人性の主張はしない。指標を決めたら公開前に「自分が今いじった設定の変化に、この数値がそのまま連動するだけではないか」を問い、答えが「はい」ならその指標は使わない。
指標が測定対象自体に盲になっていた別の事例は評価器が測定対象に盲だったときの記事にまとめている。採点役を生成役と同じにした事故は姉妹記事「採点役のAIを生成役と同じにする事故の記事」、疎な性質を平均で測ると差が消える事故は姉妹記事「疎な性質を平均で測る事故の記事」を参照してほしい。
自社の指標設計・計測条件の切り分けについて相談したい場合は、お問い合わせから編集部まで連絡してほしい。
よくある質問
Q1. 閾値を上げれば機械的に下がる指標を、なぜ改善の証拠にしてはいけないのか
その動きは実装の定義そのものであり、対象の質が良くなったことを示さない。自社の検証でも、話題転換の発生率がこの構造で「改善」に見えかけた。
Q2. 同定精度97.2%は、なぜ個人性の証拠にならなかったのか
行動を全部捨てて盤面状態だけから当てた版の方が精度が高く(85.4〜97.2%)、比較対象の全員が同じ状態にいるクラスタは16個中1個しかなかった。共有状態に限定すると精度は25.0%、偶然と同じ水準まで落ちた。
Q3. 指標が設定や条件を測っていないか、公開前にどう検査するのか
「この数値は、自分が今いじったパラメータの変化にそのまま連動するだけではないか」を問う。同定・照合系の指標では、さらに行動を捨てた版との比較、共有状態クラスタの数、共有状態限定時の精度の3つを検査する。
Q4. 会話の質を測る指標はどう置き換えたのか
閾値と無関係な、直前の発話と内容語を共有する割合(連鎖率)と最長連鎖に置き換え、対照には自社の設定と無関係に決まる外部の実測を置いた。