AI技術ガイド
疎な性質を平均で測ると、効いている変化が「無かった」ことにされる
分解能を測る前に採否を決めたため、効いていた機構を撤回するところだった。自社の判断再現の検証をもとに、疎な性質の測り方と分解能の測り方を整理する。
過去の記事
12 / 75 ページ
ARCHIVE
記事一覧
AI技術ガイド
指標が測っていたのは中身ではなく、自分が決めた設定値だった
閾値を上げれば機械的に動く指標で「改善した」と報告しかけた事故と、同定精度97.2%が個人性の証拠に見えなかった事故から、指標が中身を測っているかの検査手順を整理する。
AI技術ガイド
採点役のAIを生成役と同じにすると、評価そのものが動かなくなる
生成に使ったモデルをそのまま採点役にしたら、質の高い出力ほど点が伸びなかった。自社の評価設計で実際に起きた2つの事故から、判定役の作り方を整理する。
AI技術ガイド
語彙評価器のスコアが過去最高でも、盲検judgeは50点中4点「完全破綻」だった
自社のAIキャラクター対話で、語彙ベースの評価器を最適化目標にした結果、スコアは過去最高になったが盲検judgeでは50点中4点「完全破綻」だった。別の指標でも同型の事故が再演した経緯をまとめる。
AI技術ガイド
合議judgeの片方が予算超過で無言フォールバックし、単独判定になっていた
自社のAIキャラクター評価で、Sonnet+Opusの合議judgeのうちOpus側が予算超過で無言フォールバックし、「consensus」のラベルのままSonnet単独のスコアが保存されていた...
AI技術ガイド
強いベースモデルに入れ替えたら、対話評価は5.29から2.93に落ちた
「強いベースモデルに替えれば天井が上がる」という仮説を自社のAIキャラクター対話で実測したところ、素交換では7軸合議評価が5.29から2.93に悪化した。悪化の大半が乗り換えコストだった経緯をま...
AI技術ガイド
学習指標は満点でも、蒸留DPOモデルの対話A/Bは3.50という結果に終わった
自社が運用するAIキャラクターの対話モデルに蒸留DPOを適用した際、学習時のrewards/accは1.0だったが、フルローカルA/Bでは3.50というnegative resultに終わった。...
AI技術ガイド
5ターン評価で8.0に見えた対話が、100ターンでは4.4止まりだった
自社が運用するAIキャラクターの対話改修で、5ターン評価では3.7から8.0前後に見えた改善が、100ターンの長尺評価では最良4.4・平均2.5にとどまった。評価窓の長さが結論を変えた実測をまとめる。
AI技術ガイド
robots.txtを文字列だけで読むと誤判定する RFC9309のグループ結合ルール
Cloudflareの自動管理機能がAIクローラー向けのDisallowをrobots.txtに自動挿入し、複数ドメインで意図せずブロックしていた。文字列だけを見て確認する簡易チェックでは6件を...
AI技術ガイド
AI検索で自社の引用が0件だった日に学んだこと 「出現なし」には2種類ある
生成AI検索で自社の引用が0件だった観測をきっかけに、「検索が発火しなかったのか」「発火したが選ばれなかったのか」を分けて記録するようにした。41件の観測を見直した結果と、0件引用の実際の原因を...