この記事は、判断の再現とマルチエージェントに関する検証シリーズの1本である。自社が運用する2体のAIキャラクターの掛け合いを6週間・318K発話にわたり記録する中で、片側だけ長期記憶が一時的に落ちる事故が起きた。この自然実験から分かったことと、測定方法の落とし穴をまとめる。
この記事で分かること
- 記憶が落ちた側で何が変化し、何が変化しなかったか
- ペア比較と分布比較で結論が変わった理由
- 修復後どこまで回復し、どこまで回復していないか
この記事で分からないこと(正直に書く)
- 自己反復率の上昇が具体的にいつ始まったか(開始点は特定できていない)
- 修復後14時間の観測で止まっているため、その先で平常に戻るかどうか
4.6時間、片側だけ長期記憶が落ちた
6週間・318K発話の記録中、追記型JSONLの1行破損により、片側だけ4.6時間、相方の長期記憶が読み込めなくなる事故が起きた(出所: 自社の判断再現の検証記録、確認日2026-09-06)。意図した実験ではないが、片側だけ記憶が落ちた状態を6週間分の平常データと比較できる、数少ない自然実験になった。
自己反復率だけが跳ね上がった
記憶が落ちた側の自己反復率は、平常時24.5%±7.1(191窓)から57.4%まで跳ね上がった。zスコアは+4.65で、191窓中1位の高さだった。無傷の側は17.1%±4.4から20.8%への変化にとどまり、zスコアは+0.82、上位16%で平常範囲に収まっている(出所: 自社の判断再現の検証記録、確認日2026-09-06)。自己反復の定義は、そのターンの内容語(漢字列・カタカナ列2文字以上)が同じ話者の直前2発話と1つ以上重なることである。変化したのは自己反復だけで、語の引き継ぎ率は+0.9pt(p=0.74)、訂正率は+0.6pt(p=0.54)といずれも不変だった。応答全体が崩れたのではなく、自分の発言を繰り返す頻度だけが上がった。
ペア比較だけでは、無傷側まで有意に見えた
測定方法自体にも記録すべき点がある。直前の4.6時間と、記憶が壊れていた4.6時間をそのままペア比較すると、無傷側の変化も有意に見え、p=0.0496だった(出所: 自社の判断再現の検証記録、確認日2026-09-06)。ペア比較だけを見れば、無傷側にも何らかの影響が出たと結論づけるところだった。191窓分の分布と照らし合わせて初めて、無傷側の20.8%は上位16%、平常の変動範囲だと分かった。狭い2点の比較だけで判断を確定させる危うさを示す例である。
修復後も14時間で平常には戻らない
記憶を修復した後の自己反復率は、4.6時間の窓で42.4%→39.0%→36.0%と下がっていった。zスコアも+2.52→+2.04→+1.62と縮小している(出所: 自社の判断再現の検証記録、確認日2026-09-06)。ただし、修復から14時間が経過した時点でも、平常時の24.5%までは戻っていない。下がってはいるが、平常への回復は部分的である。
この計測には特定できていない弱点がある
正直に書くと、弱点が2つ残っている。1つは、修復後のデータだけで低下傾向を語っている点で、その先で平常に戻るのか下げ止まるのかは分からない。もう1つは、上昇の開始点を特定できていないことである。記憶が落ちる直前の窓もすでに49.5%(z≈+3.5)と高く、上がり始めた時点をこの4.6時間という区切りだけでは切り分けられない(出所: 自社の判断再現の検証記録、確認日2026-09-06)。
自己反復だけが動き、他の指標は動かなかったという結果は、記憶喪失の影響がどこに出るかを絞り込む手がかりになる。狭いペア比較だけで有意性を判定する危うさは、判断を誰から借りるかの記事やモデル単体性能とシステム全体性能の記事の「比較対象の選び方」とも通じる。標本数と信頼区間の考え方は姉妹記事「標本数の記事」を参照してほしい。
自社が運用するAIキャラクターの記憶設計・評価設計について相談したい場合は、お問い合わせから編集部まで連絡してほしい。
よくある質問
Q1. 記憶が落ちた側では何が起きたのか
自己反復率が平常時24.5%±7.1から57.4%まで跳ね上がった(z=+4.65、191窓中1位)。一方で語の引き継ぎ率や訂正率には有意な変化がなかった。
Q2. 無傷の側には本当に何も起きなかったのか
直前4.6時間と壊れていた4.6時間だけをペア比較すると、無傷側もp=0.0496で有意に見えた。しかし191窓分の分布と比較すると、無傷側の変化(20.8%)は上位16%で平常の変動範囲に収まっていた。
Q3. 修復すればすぐに元に戻るのか
戻らない。修復後の自己反復率は4.6時間の窓で42.4%→39.0%→36.0%と下がったが、14時間後の時点でも平常時の24.5%までは回復していない。
Q4. 自己反復率の上昇はいつから始まったのか
特定できていない。記憶が落ちる直前の窓もすでに49.5%(z≈+3.5)と高く、この4.6時間という区切りだけでは上昇の開始点を切り分けられない。