トンネルが切れても「正常終了」に見えるバッチ処理の落とし穴
リモートの推論サーバーへの通信が切れているのに、処理全体が『件数ゼロの正常終了』で完走していた。空の結果が後続工程へそのまま流れた経緯と直し方をまとめる。
10 / 75 ページ
リモートの推論サーバーへの通信が切れているのに、処理全体が『件数ゼロの正常終了』で完走していた。空の結果が後続工程へそのまま流れた経緯と直し方をまとめる。
追記型ログの最終行がたった1行壊れただけで、AIキャラクターの記憶を扱う機能が74%失敗していた。エラーではなくINFOログだったため誰も気づかなかった経緯と直し方をまとめる。
5xxエラーを検知するために新設した監視が、新設した当日から『測定できていない』を『異常なし』と取り違えていた。原因の切り分けと、判定不能を0件と混ぜないための直し方をまとめる。
自社プロダクト「弁護士みつかる」の弁護士ページ・判例ページが、人間のブラウザでは本文0字だった。curlで確認した1,057字はbot向けに別途組み立てられたHTMLで、3ヶ月以上気づけなかった...
自社プロダクト「Studel」の問い合わせフォームが、ドメイン移設をきっかけに65日間405を返し続けた。データベースの未通知件数を見る監視では検知できなかった理由と、本番へ実際に送信する合成監...
自社プロダクト「カンタン補助金」で、公開フロントのビルドを単体で走らせたことにより会員向け画面がデプロイから丸ごと消え、13時間気づかれなかった。CDNのキャッシュが200を返し続けていた理由と...
自社プロダクト「カンタン補助金」の基盤移行で、既定値の設定方法の違いにより新規登録が2日間100%失敗した。それでも監視は正常のままだった理由と、実スキーマと突き合わせて見つけた検査を整理する。
自社プロダクト「カンタン補助金」の基盤移行から2日後、全機能を本番で総当たりに実測したところ9件の欠陥が見つかった。すべてHTTP 200系を返していた。なぜ気づけなかったのかと、次に検査へ書く...
自社が運用する探索型ゲームのAIキャラクターで、一時的な理由の「通れない」という学習が蓄積し、本来通れる経路そのものを塞いでしまった事故を検証する。