NYC「MyCity」チャットボット監査 — 精度95%の主張はどう崩れたか
行政AIチャットボットの「精度95%」は分母の選び方次第だった。ニューヨーク市監査官室の監査報告書が明記する数値だけを根拠に、精度指標の落とし穴を追う。
9 / 75 ページ
行政AIチャットボットの「精度95%」は分母の選び方次第だった。ニューヨーク市監査官室の監査報告書が明記する数値だけを根拠に、精度指標の落とし穴を追う。
この事故はAIではなく自動化システムの設定ミスとテスト不足による事故である。SEC命令書が明記する技術的経緯から、AI製品にも共通する検査観点を抽出する。
住宅価格を予測して買い取るZillow Offersはなぜ止まったのか。SECに提出された8-Kと株主レターが明記する数値だけを根拠に、予測モデルの誤差と事業停止の関係を追う。
米NHTSAの公式リコール文書をもとに、運転支援機能のリコールに至るまでの調査の経緯と、対策の中身を一次資料から確認する。
ニューヨーク州金融サービス局の調査報告書をもとに、Apple Cardの与信判断に性差別があったという疑惑を規制当局がどう調べ、何を認定し何を認定しなかったかを一次資料から確認する。
米EEOCの公式発表をもとに、採用ソフトが年齢を理由に応募者を自動的に除外していた事例と、そこで何が問われたかを一次資料から確認する。
米連邦地裁の裁判記録をもとに、弁護士がChatGPTの出力をそのまま裁判所に提出し、制裁を受けるに至った経緯を一次資料から確認する。
インフラを全面移行した際、2つのテーブルへの書き込みだけが移植されず、101日間誰も気づかなかった。読み取りは正常で応答も200のまま隠れた事故と直し方をまとめる。
見張る仕組みはずっと『健全』と報告していたのに、実際の会話リクエストは4日間ほぼ全滅していた。疎通確認では検出できない不具合の形と直し方をまとめる。