この記事は、AIエージェントの運用に関する事故録シリーズの1本である。自社が運用する、探索型ゲームを遊ぶAIキャラクターがある関門で61時間動けなくなった事故を、独立した4つの断線に分けて検証する。
この記事で分かること
- 61時間動けなかった間、何が起きていたか
- 独立した4つの断線それぞれの中身
- 対策後にどれだけ短縮できたか
この記事で分からないこと(正直に書く)
- この4つの断線が、他の局面でもどの程度の頻度で再現するか
- 対策後さらに長時間運用した場合に、別の断線が新たに現れないか
61時間、達成はゼロだった
ある関門(探索の分岐点)に61時間とどまり続け、直近24時間の前進はゼロだった(出所: 自社の運用記録、確認日2026-09-06)。到達すべき経路も、経路上で使う手段も判断層はすでに保有していた。それでも実際に送られていた入力は、行き当たりばったりのもの45,182回に対し、計画に沿ったものはわずか19回だった。持っている情報と、実際に取る行動が一致していなかった。
独立した4つの断線
調べると、原因は1つではなく、独立した4つの断線が同時に存在していた。1つを直しても残り3つが進行を止め続ける関係にあった。
第一に、判断を下す層に地図の情報そのものが渡っていなかった。経路や出口の一覧を持たない状態で方角だけを尋ねられれば、判断層は推測で答えるしかない。実際、8時間で「北へ進む」という判断が93回出たが、必要な方向は逆だった(出所: 自社の運用記録、確認日2026-09-06)。
第二に、方角の判断が実際の操作(ボタン)に反映されない場面があった。判断そのものは字幕やログに出力されるが、実行系には伝わらないため、外から見ると指示に従ったふりをしているように映る。
第三に、判断層が推測した内容を、外部から得た情報であるかのように保存し、次回以降そのまま読み直す仕組みになっていた。実際に保存されていた学習内容を検証すると、該当する記録はすべて、外部から実際に得られた内容とは異なる方向に変換されたものだった。
第四に、出口の情報を一方向でしか記憶しない設計になっていた。ある区画の境界には両方向の出口があるにもかかわらず片方しか記録されないため、判断が同じ目標地点に固定され続けた。この断線だけで、判断の切り替えが8時間で583回に達していた(出所: 自社の運用記録、確認日2026-09-06)。
なぜ気づけなかったか
観測していたのは「入力を送った回数」までで、その入力がどの方向へ、どれだけ進んだかを区別していなかった。判断層が答えを出していることと、正しい材料をもとに答えを出していることは別だが、ログ上はどちらも同じ「判断が出た」という記録にしか見えない。字幕に出る判断と実際の操作が食い違っていることも、両者を突き合わせるまで表面化しなかった。
どう直したか
判断層への入力に、経路と出口の一覧を明示的に加えた。実行に結びつかない判断は字幕に出さず、経路に沿った移動だけを表示するようにした。外部から得た情報は、実際の発言内容と一致した場合だけ採用し、一致しなければ保存しない設計に変えた。出口の記憶は両方向を対にして持たせ、原典の情報を優先する形に改めた。
対策前後を同じ手順で10分間ずつ計測すると、対策前は行き当たりばったりの入力81回に対し実際に進んだのは42回にとどまっていた。最初の対策の直後には行き当たりばったりの入力が3回に減り、計画に沿った入力1,182回のうち622回が実際の前進になった。続く対策では行き当たりばったりの入力が12回で前進0回、計画に沿った入力80回のうち72回が前進となり、次の区画まで進めている(出所: 自社の運用記録、確認日2026-09-06)。
再発防止の具体的な手順
- 判断層に方角を問う前に、経路情報と出口一覧を入力側に含める
- 判断結果を字幕・ログに出す前に、それが実行系(操作)に反映される種類の判断かどうかを分ける
- 外部由来として保存する情報は、実際の入力と一致したものだけを採用し、一致しない推測は保存しない
- 通行情報は一方向だけでなく双方向で記録する
- 対策の効果は「入力した回数」ではなく「実際に進んだ回数」で計測する
同じ運用記録からは、目印を立てても誰も見ていなかった事例(旗を立てても誰も見ていなかった記事)や、一晩の複数の停止が同じ構造に由来していた事例(一晩で直した4つの停止が同じ形をしていた記事)も記録している。批評だけでは判断の誤りを防げないという点は、判断批評がすべて失敗した記事とも通じる。
自社が運用するAIエージェントの判断層設計・運用監視について相談したい場合は、お問い合わせから編集部まで連絡してほしい。
よくある質問
Q1. 経路も手段も持っていたのに、なぜ61時間動けなかったのか
独立した4つの断線が同時に存在しており、1つを直しても残り3つが判断・実行・学習・記憶のそれぞれの段階で進行を止め続けていたため。
Q2. 一番影響が大きかった断線はどれか
出口を一方向でしか記憶しない断線で、この1点だけで判断の切り替えが8時間で583回に達していた。他の断線を直しても、この断線が残っていれば同じ地点への固定が続いた。
Q3. 対策の効果はどう確かめたのか
対策前後で同じ計測手順を10分間ずつ実施し、「入力した回数」ではなく「実際に前進した回数」を比較した。行き当たりばったりの入力比率が下がり、前進が伴う入力の比率が大きく増えた。
Q4. なぜ気づくのに時間がかかったのか
入力の回数は記録していたが、その入力が実際にどの方向へ進んだかを区別していなかったため、判断が誤った方向に出ていることが記録上は見えなかった。