AI技術ガイド
処理が止まっているのに、外形監視は「正常」を返し続けた
自社が運用する探索型ゲームのAIキャラクターで、進行を担う処理が停止しても外形監視が正常と応答し続けた事故と、その診断中の誤った仮説を検証する。
過去の記事
11 / 75 ページ
ARCHIVE
記事一覧
AI技術ガイド
エージェントが付けた出典は、そのまま外部資料に使えるのか
提案資料の別紙を複数のエージェントに書かせたところ、全員が出典つきの表を作った。しかし一次資料まで開いて突合すると、帰属誤りと数値の取り違えが大量に出た。
AI技術ガイド
指示を出す直前に何を確認すべきか — 3つの自問と、汚れた作業ツリーへの委任
AIキャラクターのモデル調整で同じ型の誤りを1日に6回犯し、別の案件では委任先が未コミットの変更を無断変更と誤認して破棄した。指示・委任の直前に確認すべき点を整理する。
AI技術ガイド
複数エージェントの批判レビューに、なぜ前提条件シートが要るのか
複数エージェントに批判的レビューをさせる前に、根拠となる前提を原典照合したシートを渡す手順を検証した。前提を疑わずに批判だけを信じると、指摘の過半が誤った処方箋になっていた。
AI技術ガイド
委任先が「孫」を起こしてから終了すると、成果物はなぜ0件になるのか
委任先のエージェントが自分で作業せずさらに子エージェントを起こし、完了を待たずに終了した事故が同じ形で2回起きた。報告文は成功したかのように読めるが、成果物は0件だった。
AI技術ガイド
同じ10本のファイルを2系統のエージェントに書かせるとどうなるか
自社のブログ記事生成基盤で、2系統のエージェントが同じ10ファイルを別々の仕様で上書きし合う事故が起きた。原因は指示の重複ディスパッチだった。
AI技術ガイド
生成するAIと評価するAIを分けるべき理由を、外部の設計文書と突き合わせる
生成と評価を同じモデルに任せると自己増幅で判断が甘くなる。自社の運用記録と、Anthropicが公開したエンジニアリング記事を突き合わせ、生成役と評価役を分ける設計の根拠を整理する。
AI技術ガイド
「正解」として使うラベルと出典は、使う前に一次資料まで遡る
「確定している」と書かれたラベルを正解にして3日分の数値を積み上げた後に撤回した事故と、複数のAIが付けた出典が一次資料と食い違っていた事故から、検証の手順を整理する。