この記事は、評価設計に関する検証シリーズの1本である。自社が運用するAIキャラクターの対話ハーネスを改修した際、5ターンの評価では3.7から8.0前後まで改善したように見えたが、100ターンの長尺評価に切り替えると最良でも4.4、平均は2.5にとどまった。評価窓の長さで結論が変わった経緯と、その後の是正をまとめる。
この記事で分かること
- 5ターン評価と100ターン評価でスコアがどう変わったか
- 短い評価窓が実際には何を測っていたか
- どの評価窓を正式な採否判定として採用したか
この記事で分からないこと(正直に書く)
- 5ターンで高スコアが出た区間で、逐語的に何が起きていたかの詳細な内訳
- 100ターンより長い評価窓でも同じ傾向が続くかどうか
5ターン評価では3.7から8.0前後に見えた
2026年6月、ベースモデルの入れ替えと対話モジュールの追加を含む改修を行い、5ターンの評価では3.7から8.0〜8.5まで改善したという結果を得た(出所: 自社の運用記録、確認日2026-09-06)。改修の方向性は正しく見え、以降のイテレーションもこの数値を基準に進めていた。
100ターンに切り替えると最良4.4・平均2.5だった
同じ構成を100ターンの長尺評価に掛け直すと、最良でも4.4、平均は2.5にとどまった(出所: 自社の運用記録、確認日2026-09-06)。5ターンで見えていた改善は、100ターンでは再現しなかった。この時点では「8点台に乗せるにはベースモデルの入れ替えが必要」という結論を立てたが、後の検証でこの結論自体も見直すことになる。
「対話が良くなったか」ではなく「冒頭5ターンが良く見えるか」を測っていた
このずれの本質は、測定対象の取り違えにある。意図していたのは対話全体の質が改善したかどうかを測ることだったが、実際に測っていたのは冒頭5ターンだけが良く見えるかどうかだった。冒頭は展開が単純で崩れが蓄積する前の区間であり、100ターン評価が拾う後半の反復や停滞は、5ターン評価の範囲にそもそも入っていなかった。どちらも同じ0〜10のスケールで数字が出てくるため、見た目には同じものを測っているように見えてしまう。
なぜ気づけなかったか
5ターン評価は1回の実行が短く、イテレーションを速く回せる利点があったため、開発サイクルの主要な判定材料として定着していた。100ターンの長尺評価は実行コストが高く、区切りの良いタイミングでしか回していなかったため、両者の差が開くまで気づく機会がなかった(出所: 自社の運用記録、確認日2026-09-06)。
どう直したか
2026年6月、正式な採否判定は100ターンの長尺評価に一本化した。その後の合議judge体制でも、ローカル構成の天井は本番構成で5.29、Claude系アクターを混成した構成のピークで6.14として再定義している(出所: 自社の運用記録、確認日2026-09-06)。5ターン評価は開発中の高速フィードバック用途に限定し、採否の根拠には使わない運用に切り替えた。
再発防止
評価窓の長さそのものを評価設計の一項目として明記し、短い窓のスコアには「速く回せる」以上の意味を持たせないようにしている。評価窓を変えたときは、旧窓のスコアを新窓で取り直してから比較する。
学習指標と対話評価が食い違ったケースは姉妹記事「蒸留DPOの学習指標と対話評価が食い違った記事」に、評価指標そのものがGoodhart化した経緯は「語彙評価器のGoodhart化を扱う記事」にまとめている。評価器自体が測定対象を見誤っていた別の事故は評価器が測定対象に盲だった記事を参照してほしい。
評価設計について相談したい場合は、お問い合わせから編集部まで連絡してほしい。
よくある質問
Q1. 5ターン評価と100ターン評価でスコアはどう変わったか
5ターン評価では3.7から8.0〜8.5に改善したように見えたが、同じ構成を100ターンの長尺評価に掛け直すと最良でも4.4、平均は2.5にとどまった。
Q2. なぜ5ターン評価では高いスコアが出たのか
5ターン評価は対話の冒頭だけを見ており、100ターン評価が拾う後半の反復や停滞が評価の範囲に入っていなかったため。
Q3. 現在の採否判定はどの評価窓を使っているか
100ターンの長尺評価を正式な採否判定に一本化しており、合議judgeによるローカル構成の天井は本番構成で5.29、Claude系アクター混成構成のピークで6.14としている。
Q4. 5ターン評価はもう使わないのか
開発中の高速フィードバック用途には使うが、採否の根拠には使わない運用にしている。