動画で見る（3分43秒）
動画の台詞を読む
部長：新しいAIが出たのよ。一番強いモデルに替えれば、うちのチャットボットも、良くなるわ
トラ猫：……替える時、今の指示の書き方は、そのままですか
部長：そのままよ。中身だけ、賢くなるんでしょ
トラ猫：編集部は、もっと強いとされる別のモデルに、そのまま替えました。点数は、5.29から、2.93に下がりました
部長：下がったの？
トラ猫：しかも、モデルの力が足りなかったのでは、ありませんでした。替え方の方が、下げていたんです
AIのキャラクターの会話で、モデルを替えて比べてきた、編集部の記録です。
トラ猫：仕組みは、今の本番のモデルに合わせて、調整を重ねてきました。100往復の評価で、5.29です
トラ猫：別系統の、より強いとされるモデルに、そのまま替えると、2.93
トラ猫：先に言っておくと、この2.93は、条件を揃えないまま、そのまま替えた時の点数です。条件を揃えて比べた点数は、記事には、まだありません
部長：強い方が、負けたのね
トラ猫：一方、今の本番のモデルの、新しい版に替えた時は、5.0でした。ほぼ、変わりません
部長：同じ系統なら、崩れないってこと？
トラ猫：採点した側の指摘を読むと、下がった理由の大半は、乗り換えの手間でした
トラ猫：指示の書き方や、話を止める合図が、前のモデル向けに作り込まれていて、新しいモデルでは、誰の発言かを示す印が、崩れました
トラ猫：それに、そのモデルは、本来、考えてから答える使い方が前提です。すぐ答える必要があったので、その機能を切った、弱い使い方で、比べていました
トラ猫：存在しない作品の設定が混ざる、別のキャラクターの口調になる、という崩れも、一部、ありました
部長：うちの指示書も、今のAIに合わせて、ずっと直してきたわ
トラ猫：はい。その直した分は、今のモデル専用です。そのまま替えると、前より下がることも、あります
部長：じゃあ、強いモデルは、意味が無いの？
トラ猫：比べる単位を、モデル単体から、仕組み全体に変えた検証があります。劣るとされるモデルに、会話を進める部品と、その場で要る情報を差し込む仕組みを組み合わせた側が、87.0%で勝ちました
トラ猫：一番強いとされるモデル単体は、4.3%です
トラ猫：しかも、判定役の1人は、その強いモデル自身でした。それでも、劣る側を選んでいます
トラ猫：ただ、23件の比べ方です。件数は、まだ小さいので、方向として、見てください
部長：新しいモデルが出るたびに、替えれば勝てる、って話じゃないのね
部長：うちで、私が、やることは？
トラ猫：まず、今の指示の書き方と設定が、どのモデル向けに直してきた物かを、書き出します
トラ猫：次に、比べる時は、条件を揃える。書式、考えてから答える機能の扱い、指示の入れ方です。揃えないまま、短く試して、実力を決めません
トラ猫：最後に、比べる単位を、モデルではなく、仕組み全体にします
部長：……一番強いモデルに替えれば、良くなる。私、そう思ってたわ
トラ猫：強さは、仕組みと、組み合わせて決まります
部長：乗り換えの前に、今の指示書が、何向けかを、書き出してみる
トラ猫：はい。比べるのは、その後です
あなたの会社のAI、何向けに、作り込まれていますか。記事は、AIコンパス、ベースモデル、入れ替え、で検索。
この記事は、評価設計に関する検証シリーズの1本である。自社が運用するAIキャラクター対話ハーネスで、「強いベースモデルに替えれば天井が上がる」という仮説を実測したところ、素交換では7軸合議評価が本番構成の5.29から2.93まで悪化した。悪化の大半が乗り換えコストだったという結論と、同じ失敗パターンが別の形でもう一度起きた経緯をまとめる。
この記事で分かること
- ベースモデルの素交換で評価がどれだけ悪化したか
- 悪化の内訳のうち、どこまでが「乗り換えコスト」でどこまでが「ベースの実力」か
- 同じ失敗パターンがどう再演したか
この記事で分からないこと(正直に書く)
- 公平な条件(書式整備・thinkingモードの調整済み)で同じベースを評価した場合のスコア(未実施)
- 乗り換えコストとベース実力の寄与を数値で分離した内訳(judgeの定性的な指摘までしか無い)
「強いベースに替えれば天井が上がる」という仮説
自社の対話ハーネスは本番構成のベースモデル上で調整を重ねており、7軸合議judge(Sonnet+Opusの盲検)で5.29という評価を得ていた。「別系統のより強いベースモデルに替えれば、この天井を超えられるのではないか」という仮説を立て、2026年6月に素交換のテストを行った(出所: 自社の運用記録、確認日2026-09-06)。
実測は5.29から2.93に悪化した
同じハーネスのまま、別系統の32Bクラスのベースモデルに差し替えて100ターン評価を行ったところ、7軸合議は2.93(Sonnet 2.9/Opus 3.0)まで悪化した(出所: 自社の運用記録、確認日2026-09-06)。「強いベースに替えれば天井が上がる」という仮説は、少なくとも素交換では支持されなかった。
低い理由の大半は交換コストだった
judgeの指摘を精査すると、低評価の大半は乗り換えに伴うコストで、ベース自体の実力を示すものではなかった。プロンプト形式や停止シーケンスが本番構成のベースに最適化されており、別系統のモデルでは話者タグの崩れなど書式面の破綻が起きていた。加えて、対象のベースモデルは本来thinkingモードでの利用を前提としており、リアルタイム応答の制約でthinkingを無効化した弱いモードでの評価になっていた。存在しない作品設定の混線や、口調が別キャラクターのものになるといった捏造・誤帰属も一部で見られ、こちらはベース自体の実力に由来する可能性がある(出所: 自社の運用記録、確認日2026-09-06)。
「ベースの実力」ではなく「乗り換えコスト」を測っていた
意図していたのは、別系統のベースモデルが持つ潜在能力を測ることだった。しかし実際に測っていたのは、本番構成に最適化された書式・サンプリング設定・注入形式を、別のベースにそのまま流し込んだときにどれだけ崩れるかという乗り換えコストだった。ハーネス側の改善による上乗せ分は本番ベース固有に最適化されており、別のベースでは再調整なしにパリティすら割ってしまう。この前提は、7月中旬に本番ベースの更新版を再テストした際にも裏付けられた。更新版では合議5.0(Sonnet 4.9/Opus 5.1)となり、現行の5.29と比べて改善は見られず、judgeの変動幅の範囲内にとどまったため採用を見送っている(出所: 自社の運用記録、確認日2026-09-06)。
別経路でも起きた—同じアーキ名の別バージョンが黙って載っていた事故
同じ「ベースの取り違え」は、別の作業でも別の形で起きた。通しセッション生成のスクリプトでモデルIDがハードコードされており、実際に読み込んでいたのは学習時に使ったバージョンと異なるバージョンのベースモデルだった。アーキテクチャ名が同一だったため、アダプタの読み込み処理は何のエラーも出さずに通っていた。生成された対話は「じわっと壊れた日本語」として現れ、当初はキャラクター性の退行や敬語化といった別の原因に帰属しかけた(出所: 自社の運用記録、確認日2026-09-06)。アーキテクチャ名が同じでも、学習時と推論時のバージョンが一致するとは限らない。
どう直したか・再発防止
素交換の評価については、公平な比較には話者タグ・停止シーケンスの整備、thinkingモードの扱いの統一、注入形式の再調整という3条件を揃える必要があると結論づけ、条件を揃えないままの短時間の素交換ではベースの実力を判定しないという運用にした。アーキ名の取り違え事故については、モデルIDを環境変数化してハードコードを排し、生成ログに実ロードのシャード数とトークナイザ/chat_templateのハッシュ値を記録し、アダプタの学習時ベース名と実ロード先の一致をassertする仕組みを追加している(出所: 自社の運用記録、確認日2026-09-06)。
学習指標だけでは対話の質を判断できなかったケースは姉妹記事「蒸留DPOの学習指標と対話評価が食い違った記事」に、合議judgeの片方が無言で欠落していた事故は「合議judgeの無言フォールバックを扱う記事」にまとめている。評価器自体が測定対象を見誤っていた別の事故は評価器が測定対象に盲だった記事を参照してほしい。
モデル選定と評価設計について相談したい場合は、お問い合わせから編集部まで連絡してほしい。
よくある質問
Q1. ベースモデルの素交換で評価はどう変わったか
7軸合議評価が本番構成の5.29から2.93まで悪化した(Sonnet 2.9/Opus 3.0)。
Q2. 悪化の理由はベースモデル自体の実力不足なのか
judgeの指摘では、低評価の大半は書式崩れやthinkingモード無効化といった乗り換えコストで、ベース自体の実力を示す部分は一部にとどまった。
Q3. 本番構成のベースモデルを新しい版に更新したらどうなったか
更新版で再テストしたところ合議5.0(Sonnet 4.9/Opus 5.1)となり、現行の5.29と比べて改善は見られず、judgeの変動幅の範囲内として採用を見送った。
Q4. アーキ名が同じ別バージョンが読み込まれる事故はどう防いだか
モデルIDを環境変数化し、生成ログに実ロードのシャード数とトークナイザ/chat_templateのハッシュ値を記録した上で、アダプタの学習時ベース名と実ロード先の一致をassertするようにした。