5xx監視の沈黙を「ゼロ件」と取り違えない設計
5xxエラーを検知するために新設した監視が、新設した当日から『測定できていない』を『異常なし』と取り違えていた。原因の切り分けと、判定不能を0件と混ぜないための直し方をまとめる。
8 / 72 ページ
5xxエラーを検知するために新設した監視が、新設した当日から『測定できていない』を『異常なし』と取り違えていた。原因の切り分けと、判定不能を0件と混ぜないための直し方をまとめる。
自社プロダクト「弁護士みつかる」の弁護士ページ・判例ページが、人間のブラウザでは本文0字だった。curlで確認した1,057字はbot向けに別途組み立てられたHTMLで、3ヶ月以上気づけなかった...
自社プロダクト「Studel」の問い合わせフォームが、ドメイン移設をきっかけに65日間405を返し続けた。データベースの未通知件数を見る監視では検知できなかった理由と、本番へ実際に送信する合成監...
自社プロダクト「カンタン補助金」で、公開フロントのビルドを単体で走らせたことにより会員向け画面がデプロイから丸ごと消え、13時間気づかれなかった。CDNのキャッシュが200を返し続けていた理由と...
自社プロダクト「カンタン補助金」の基盤移行で、既定値の設定方法の違いにより新規登録が2日間100%失敗した。それでも監視は正常のままだった理由と、実スキーマと突き合わせて見つけた検査を整理する。
自社プロダクト「カンタン補助金」の基盤移行から2日後、全機能を本番で総当たりに実測したところ9件の欠陥が見つかった。すべてHTTP 200系を返していた。なぜ気づけなかったのかと、次に検査へ書く...
自社が運用する探索型ゲームのAIキャラクターで、一時的な理由の「通れない」という学習が蓄積し、本来通れる経路そのものを塞いでしまった事故を検証する。
自社が運用する探索型ゲームのAIキャラクターで、進行を担う処理が停止しても外形監視が正常と応答し続けた事故と、その診断中の誤った仮説を検証する。