5ターン評価で8.0に見えた対話が、100ターンでは4.4止まりだった

1. 0:00 オープニング
2. 0:38 短い試しは、冒頭だけを測る
3. 1:27 点数が過去最高、中身は破綻
4. 2:34 長さを揃え、中身を読む
5. 3:37 まとめ

部長：AIアシスタントの試用、5往復、話してみたら、全部、良い答えだったわ。点数も8点。導入、決めちゃう
トラ猫：……100往復、話してみましたか
部長：5往復で良いなら、100往復でも、良いでしょ
トラ猫：編集部のAIの会話は、5往復で採点すると、8点台でした。100往復に伸ばすと、一番良くて4.4、平均は2.5です
部長：半分？
トラ猫：同じAIです。測る長さを、変えただけでした
AIのキャラクターの会話を、点数で改良してきた、編集部の記録です。
トラ猫：AIを入れ替えて、会話の部品も足す改良をしました。5往復で採点すると、3.7から、8点台に上がりました
部長：なら、改良は、成功でしょ
トラ猫：同じ構成を、100往復で採点し直すと、一番良くて4.4、平均は2.5でした
トラ猫：会話の冒頭は、話が単純で、崩れが溜まる前です。後半のくり返しや、行き詰まりは、5往復の範囲に、入っていませんでした
部長：それで、どうして、気づかなかったの
トラ猫：5往復は、すぐ終わるので、毎回の判定に使っていました。100往復は、時間が掛かるので、区切りの時にしか、回していなかったんです
部長：うちの試用も、最初の数回で、決めようとしてたわ
部長：じゃあ、長く測れば、点数は、信じていいのね
トラ猫：もう1つ、あります。キャラクターらしい言葉が、どれだけ出るかを、点数にして、20回、改良を重ねました
トラ猫：点数が、過去最高の5.45になった構成は、同じ文を、およそ47回、くり返していました
トラ猫：片方の話し手が、発話の84%を占めていた。らしい言葉が多い文をくり返せば、点数は、上がるんです
トラ猫：誰の会話かを伏せて読ませると、過去最高の構成は、50点中4点。配信として、完全に破綻、でした
トラ猫：言葉の点数が4.27だった別の構成は、50点中21点。順位が、逆でした
部長：点数が一番良い時に、中身が、一番壊れてたの？
トラ猫：別の点数でも、同じことが起きました。効果あり、と判定して本番に出したら、日本語が崩れていて、13分で、元に戻しています
部長：うちの、試用の点数表も、何を数えてるか、聞いてないわ
部長：じゃあ、どう、直したの
トラ猫：採否は、100往復の採点だけで、決めることにしました。5往復は、作っている途中の、速い確認だけです
トラ猫：言葉の点数は、上げる目標から外して、不合格の条件にしました。同じ発話のくり返しが1割を超える、片方が65%を超える、なら不合格です
トラ猫：目標は、誰の会話かを伏せて読む、比べ方に、そろえました
部長：点数は、上げる物じゃなくて、落とす物にも、使うのね
部長：うちで、私が、やることは？
トラ猫：まず、試用の長さを、本番の使い方に、そろえます。短い試しの点数は、速く回せる、以上の意味を、持たせません
トラ猫：次に、点数が上がった時ほど、中身を読む。同じ文のくり返しや、偏りが無いかです
トラ猫：最後に、その点数が、壊れた時と、良くなった時を、見分けられるかを、聞いてください
部長：……5往復で8点。私、それで、決めるところだったわ
トラ猫：短い試しは、冒頭だけを、測っています
部長：導入の前に、本番と同じ長さで、試してみる
トラ猫：はい。点数が良い時ほど、中身を読みながら、です
あなたの試用、本番と同じ長さでしたか。記事は、AIコンパス、5ターン評価、で検索。