AI技術ガイド
探索型ゲームでAIエージェントが61時間動けなかった4つの断線
自社が運用する、探索型ゲームを遊ぶAIキャラクターが61時間動けなくなった事故を、独立した4つの断線に分けて検証する。
過去の記事
9 / 72 ページ
ARCHIVE
記事一覧
AI技術ガイド
エージェントが付けた出典は、そのまま外部資料に使えるのか
提案資料の別紙を複数のエージェントに書かせたところ、全員が出典つきの表を作った。しかし一次資料まで開いて突合すると、帰属誤りと数値の取り違えが大量に出た。
AI技術ガイド
指示を出す直前に何を確認すべきか — 3つの自問と、汚れた作業ツリーへの委任
AIキャラクターのモデル調整で同じ型の誤りを1日に6回犯し、別の案件では委任先が未コミットの変更を無断変更と誤認して破棄した。指示・委任の直前に確認すべき点を整理する。
AI技術ガイド
複数エージェントの批判レビューに、なぜ前提条件シートが要るのか
複数エージェントに批判的レビューをさせる前に、根拠となる前提を原典照合したシートを渡す手順を検証した。前提を疑わずに批判だけを信じると、指摘の過半が誤った処方箋になっていた。
AI技術ガイド
委任先が「孫」を起こしてから終了すると、成果物はなぜ0件になるのか
委任先のエージェントが自分で作業せずさらに子エージェントを起こし、完了を待たずに終了した事故が同じ形で2回起きた。報告文は成功したかのように読めるが、成果物は0件だった。
AI技術ガイド
同じ10本のファイルを2系統のエージェントに書かせるとどうなるか
自社のブログ記事生成基盤で、2系統のエージェントが同じ10ファイルを別々の仕様で上書きし合う事故が起きた。原因は指示の重複ディスパッチだった。
AI技術ガイド
生成するAIと評価するAIを分けるべき理由を、外部の設計文書と突き合わせる
生成と評価を同じモデルに任せると自己増幅で判断が甘くなる。自社の運用記録と、Anthropicが公開したエンジニアリング記事を突き合わせ、生成役と評価役を分ける設計の根拠を整理する。
AI技術ガイド
「正解」として使うラベルと出典は、使う前に一次資料まで遡る
「確定している」と書かれたラベルを正解にして3日分の数値を積み上げた後に撤回した事故と、複数のAIが付けた出典が一次資料と食い違っていた事故から、検証の手順を整理する。
AI技術ガイド
疎な性質を平均で測ると、効いている変化が「無かった」ことにされる
分解能を測る前に採否を決めたため、効いていた機構を撤回するところだった。自社の判断再現の検証をもとに、疎な性質の測り方と分解能の測り方を整理する。
AI技術ガイド
指標が測っていたのは中身ではなく、自分が決めた設定値だった
閾値を上げれば機械的に動く指標で「改善した」と報告しかけた事故と、同定精度97.2%が個人性の証拠に見えなかった事故から、指標が中身を測っているかの検査手順を整理する。