AI技術ガイド
採点役のAIを生成役と同じにすると、評価そのものが動かなくなる
生成に使ったモデルをそのまま採点役にしたら、質の高い出力ほど点が伸びなかった。自社の評価設計で実際に起きた2つの事故から、判定役の作り方を整理する。
過去の記事
10 / 72 ページ
ARCHIVE
記事一覧
AI技術ガイド
語彙評価器のスコアが過去最高でも、盲検judgeは50点中4点「完全破綻」だった
自社のAIキャラクター対話で、語彙ベースの評価器を最適化目標にした結果、スコアは過去最高になったが盲検judgeでは50点中4点「完全破綻」だった。別の指標でも同型の事故が再演した経緯をまとめる。
AI技術ガイド
合議judgeの片方が予算超過で無言フォールバックし、単独判定になっていた
自社のAIキャラクター評価で、Sonnet+Opusの合議judgeのうちOpus側が予算超過で無言フォールバックし、「consensus」のラベルのままSonnet単独のスコアが保存されていた...
AI技術ガイド
強いベースモデルに入れ替えたら、対話評価は5.29から2.93に落ちた
「強いベースモデルに替えれば天井が上がる」という仮説を自社のAIキャラクター対話で実測したところ、素交換では7軸合議評価が5.29から2.93に悪化した。悪化の大半が乗り換えコストだった経緯をま...
AI技術ガイド
学習指標は満点でも、蒸留DPOモデルの対話A/Bは3.50という結果に終わった
自社が運用するAIキャラクターの対話モデルに蒸留DPOを適用した際、学習時のrewards/accは1.0だったが、フルローカルA/Bでは3.50というnegative resultに終わった。...
AI技術ガイド
5ターン評価で8.0に見えた対話が、100ターンでは4.4止まりだった
自社が運用するAIキャラクターの対話改修で、5ターン評価では3.7から8.0前後に見えた改善が、100ターンの長尺評価では最良4.4・平均2.5にとどまった。評価窓の長さが結論を変えた実測をまとめる。
AI技術ガイド
robots.txtを文字列だけで読むと誤判定する RFC9309のグループ結合ルール
Cloudflareの自動管理機能がAIクローラー向けのDisallowをrobots.txtに自動挿入し、複数ドメインで意図せずブロックしていた。文字列だけを見て確認する簡易チェックでは6件を...
AI技術ガイド
AI検索で自社の引用が0件だった日に学んだこと 「出現なし」には2種類ある
生成AI検索で自社の引用が0件だった観測をきっかけに、「検索が発火しなかったのか」「発火したが選ばれなかったのか」を分けて記録するようにした。41件の観測を見直した結果と、0件引用の実際の原因を...
AI技術ガイド
出典18件でも数値13節に出所が無かった 件数を品質の代理にした誤り
外部出典18件を根拠にnoindexから復帰させようとした記事に、数値のある節13個に出所が無かった。件数を品質の代理指標に使っていたことが原因で、一次資料に一件ずつ当たり直した記録。
AI技術ガイド
ファイル名からURLを組むと1日ずれる Jekyllのタイムゾーンの罠
記事ファイル名の日付からURLを推測して分析したところ、42本を「本番に存在しない」と誤判定した。原因はJekyllのpermalinkがタイムゾーン適用後の日付で組まれることだった。