2012〜2017
USA
医療
IBM Watson × MD Anderson Cancer Center
💸 損失: 62 億円 (39 M USD)
がんセンターと IBM が共同開発した Oncology Expert Advisor が、合成症例データ訓練と中止条件未設定により 18 か月超の停滞、最終的に総額 62 億円を費やして打ち切られた事例。
📋 根本原因 / 教訓 / ソース
🔍 根本原因:
(1) 訓練データが実患者ではなく合成症例だった (2) 「中止条件」が契約・社内文書に明記されていなかった (3) 経営層が「ここまでやったから」を理由に継続判断を繰り返したサンクコストバイアス。
✅ 教訓:
PoC 期間の上限 (6 か月) と KPI 未達時の打ち切りルールを契約に組み込む。
⚠ 中止条件⚠ サンクコスト⚠ データ品質
2022〜2024
Canada
輸送
Air Canada AI チャットボット 訴訟
💸 損失: 賠償 + 風評 + 全社チャットボット停止 (812 CAD USD)
Air Canada のチャットボットが「死別割引」について誤った案内をしたため、ユーザー (Jake Moffatt 氏) が訴訟。カナダ民事裁判所は『チャットボットの発言も企業の発言である』とし、Air Canada に 812 CAD の賠償を命じた。
📋 根本原因 / 教訓 / ソース
🔍 根本原因:
(1) チャットボット応答に免責文を表示せず (2) 人間レビューのワークフローがなかった (3) 「AI が独立した法人である」という Air Canada の主張は裁判所に却下された。
✅ 教訓:
顧客向け AI には必ず免責文を表示。応答ログを保存し、定期サンプリングで人間レビューを実施。
⚠ ガバナンス⚠ 契約⚠ 経営アライン
2016〜2016
USA
テック
Microsoft Tay 24 時間炎上
💸 損失: ブランド毀損 + 完全停止
Microsoft が Twitter 上で公開した AI チャットボット Tay が、リリース 24 時間以内に人種差別・ホロコースト否定発言を連発し緊急停止された事例。
📋 根本原因 / 教訓 / ソース
🔍 根本原因:
(1) ユーザー入力をそのまま学習データに取り込む設計 (オンライン学習) (2) 攻撃的入力に対するフィルタが事実上存在せず (3) Red Team 評価を本番公開前に実施しなかった。
✅ 教訓:
公開前のレッドチーム評価必須。オンライン学習を本番に持ち込む場合は入力フィルタを多層で実装。
⚠ ガバナンス⚠ データ品質
2014〜2018
USA
テック
Amazon AI 採用システム 女性差別
💸 損失: 開発無駄 + 評判リスク
Amazon が 4 年かけて開発した履歴書スクリーニング AI が、過去 10 年の社内採用データから学習した結果『女性』を含む履歴書を不利に評価することが判明し、社内で廃止された。
📋 根本原因 / 教訓 / ソース
🔍 根本原因:
(1) 訓練データ自体に過去の採用バイアス (男性偏重) が含まれていた (2) 公平性指標を KPI に組み込まなかった (3) バイアス監査が後手に回った。
✅ 教訓:
訓練データの代表性とバイアス監査を初期段階から KPI に組み込む。年 1 回の差別検査を必須化。
⚠ データ品質⚠ ガバナンス
2013〜2021
Netherlands
行政
オランダ 児童手当 AI 不正検知スキャンダル
💸 損失: 賠償 + 政権崩壊 (500 M+ EUR USD)
オランダ税務当局が児童手当の不正受給検知に使った AI システム (Risicoclassificatiemodel) が、二重国籍保持者・低所得層を不当に標的化。約 26,000 世帯が誤って『不正』と判定され、莫大な返金を強要された。最終的にルッテ第三次内閣が総辞職する政治スキャンダルに発展。
📋 根本原因 / 教訓 / ソース
🔍 根本原因:
(1) 国籍属性を特徴量に組み込んだ差別的設計 (2) 異議申立て手段が事実上存在せず (3) 監督官庁が AI のブラックボックスを精査できなかった。
✅ 教訓:
公的 AI には『説明責任』と『異議申立て』を制度として組み込む。属性 (国籍・性別・人種) を直接特徴量にしない。
⚠ ガバナンス⚠ データ品質⚠ 経営アライン
2018〜2021
USA
金融
Zillow Offers AI 価格予測の崩壊
💸 損失: 5,800 億円 (損失 + 撤退コスト) (881 M USD)
オンライン不動産大手 Zillow が AI 価格予測で住宅を一括買取して再販する『Zillow Offers』事業を展開。コロナ後の住宅価格急変動に AI モデルが追いつけず、買い取った 7,000 戸超を簿価以下で売却。最終的に 25% のリストラを伴って事業完全撤退。
📋 根本原因 / 教訓 / ソース
🔍 根本原因:
(1) パンデミック後のデータドリフトに再学習が間に合わなかった (2) モデル予測を経営層が過信、人間チェックを抜いた (3) 投資コミット先行で撤退判断が遅れた。
✅ 教訓:
市場変動の激しい領域は AI 予測の信頼区間を経営判断に反映。月次ドリフトチェックを必須。撤退判断を CEO 一存で抜けるよう設計しない。
⚠ データ品質⚠ 経営アライン⚠ 中止条件
2012〜2012
USA
金融
Knight Capital アルゴ取引暴走
💸 損失: 366 億円 (45 分で) (440 M USD)
Knight Capital のアルゴリズム取引システムがデプロイミスにより 45 分間で 440 M USD の損失を出し、同社は事実上経営破綻 → 救済合併へ。AI ではないが『自動化システムの中止条件未実装』の代表事例として AI プロジェクトで頻繁に引用される。
📋 根本原因 / 教訓 / ソース
🔍 根本原因:
(1) 旧コードが本番サーバの 1 台に残存していた (デプロイ不備) (2) 異常検知時の自動停止 (kill switch) が設計されていなかった (3) アラートの優先度判定を人間に依存。
✅ 教訓:
本番自動化システムには Kill Switch を実装し、検知から停止までを SLA で管理。デプロイログ・ロールバック手順を必須化。
⚠ ガバナンス⚠ 中止条件
2020〜2020
USA
行政
アイオワ州民主党予備選 集計アプリ大失敗
💸 損失: 選挙結果遅延 + 信頼喪失
2020 年米大統領選アイオワ州民主党予備選で、Shadow Inc 社が開発した集計アプリ『IowaReporterApp』が動作不良。集計結果の発表が数日遅延し、民主党全体の選挙運営への信頼を失墜させた。
📋 根本原因 / 教訓 / ソース
🔍 根本原因:
(1) 現場 (Caucus 主宰者) への使い方研修が不十分 (2) 本番前負荷試験を実施せず (3) ベンダー Shadow Inc は『AI で集計』を売り文句にしたが実装は単なる Excel 連携。
✅ 教訓:
現場運用テスト・負荷試験を本番前に必須化。『AI で〜』のマーケティング文言と実装内容の乖離を契約で縛る。
⚠ 現場ギャップ⚠ 契約⚠ データ品質
2018〜2020
USA
輸送
Tesla Autopilot 死亡事故 (Mountain View)
💸 損失: 賠償 + 連邦調査
Apple エンジニア Walter Huang 氏が Tesla Model X の Autopilot 利用中に死亡事故。NTSB (米国家運輸安全委員会) は Autopilot の不適切な作動と運転手の過剰信頼の両方を原因と認定。
📋 根本原因 / 教訓 / ソース
🔍 根本原因:
(1) Autopilot は L2 (運転支援) だが Tesla 公式 PR が L4 に近いマーケティングをした (2) 警告メッセージが運転手の継続注意を実効的に確保できていなかった (3) 開発と公開の経営優先度が安全評価を上回った。
✅ 教訓:
AI 機能の能力 (level) と PR / マーケティングを乖離させない。安全評価を製品公開条件に組み込む。
⚠ ガバナンス⚠ 経営アライン
2018〜2020
USA
輸送
Uber 自動運転 死亡事故 (Tempe)
💸 損失: 事業撤退 + 賠償
Uber Advanced Technologies Group の自動運転試験車両が歩行者 Elaine Herzberg 氏を轢死させた事故。歩行者検知システムは『道路を横断する歩行者』のクラス分類を学習しておらず認識できなかった。
📋 根本原因 / 教訓 / ソース
🔍 根本原因:
(1) 訓練データに『横断歩道外で道路を横切る歩行者』のパターン不足 (2) 非常ブレーキを抑制する独自設定 (3) ドライバーの注意維持装置を撤去。
✅ 教訓:
AI の認識クラスが想定外の入力にどう振る舞うか事前 stress test 必須。安全機能を経営判断で撤去しない。
⚠ ガバナンス⚠ 中止条件⚠ データ品質
2020〜2020
UK
行政
英国 A-level 入試成績算出アルゴリズム炎上
💸 損失: 政府謝罪 + 撤回
COVID-19 で A-level 試験中止となった英国で、Ofqual が代替成績算出にアルゴリズムを導入。受験生の 39.1% が下方修正され、低所得校の生徒が不当に低い成績を得た。学生のデモを受け 6 日後に撤回。
📋 根本原因 / 教訓 / ソース
🔍 根本原因:
(1) 統計モデルが過去校の平均に強く依存 (2) 個人の能力よりも校の集団傾向で成績決定 (3) 受験生・学校との事前対話なしで本番運用。
✅ 教訓:
公的 AI には影響者 (受験生・学生) との事前対話と異議申立て手段を必須化。
⚠ データ品質⚠ ガバナンス⚠ 現場ギャップ
2016〜
USA
行政
COMPAS 再犯予測 AI の人種バイアス
💸 損失: 司法判断の偏り継続
米国で広く使われていた再犯予測 AI COMPAS が、ProPublica の調査で『黒人被告を白人被告の 2 倍誤って高リスクと判定』することが判明。多くの州で量刑判断の参考に使われていた。
📋 根本原因 / 教訓 / ソース
🔍 根本原因:
(1) 訓練データに警察活動の人種的偏り (2) 公平性指標を組み込まずベンチ精度のみ評価 (3) ブラックボックス化により被告が反論不能。
✅ 教訓:
司法 AI には Demographic Parity 等の公平性指標を必須化。説明責任とブラックボックス開示。
⚠ データ品質⚠ ガバナンス
2015〜2015
USA
テック
Google Photos 黒人写真『ゴリラ』誤タグ事件
💸 損失: ブランド毀損 + 機能停止
Google Photos の自動タグ機能が黒人ユーザーの写真に『gorillas』タグを付ける問題発覚。Google は緊急パッチで一時的に gorilla / chimp / monkey タグを完全削除する対応を取った。
📋 根本原因 / 教訓 / ソース
🔍 根本原因:
(1) 訓練データセットの肌の色多様性不足 (2) 多文化テストの不徹底 (3) ベータ公開前のレッドチーム評価未実施。
✅ 教訓:
画像認識の訓練データ多様性を Demographic 軸 (肌の色・年齢・性別) で必須化。公開前のレッドチーム監査。
⚠ データ品質⚠ ガバナンス
2019〜2019
USA
金融
Apple Card 信用限度額 性別差別問題
💸 損失: 規制当局調査 + 評判リスク
Apple Card (Goldman Sachs) の信用限度算定 AI が、夫婦で同じ収入・資産でも妻側に夫の 1/20 の限度しか付与しない事例が SNS で拡散。NY 金融サービス局が調査を開始。
📋 根本原因 / 教訓 / ソース
🔍 根本原因:
(1) 過去の信用履歴データに女性の利用パターン少ない偏り (2) 性別を直接入力しなくても代理変数で間接的に学習 (3) 個別ケース説明手段が顧客に提供されなかった。
✅ 教訓:
代理変数 (Proxy Variables) のバイアス検出を金融 AI で必須化。個人に説明可能な意思決定 (XAI) を組み込む。
⚠ データ品質⚠ ガバナンス
2023〜2023
Korea
製造
Samsung 半導体部門 ChatGPT 機密ソース流出 (3 件連発)
💸 損失: 機密漏洩 + 全社利用禁止
Samsung 半導体部門で、エンジニアが ChatGPT に機密ソースコード・会議録・歩留まり改善案を入力。社内通達からわずか 20 日で 3 件の流出が発覚し、Samsung は全社員に生成 AI 利用を一時禁止した。
📋 根本原因 / 教訓 / ソース
🔍 根本原因:
(1) 利用ガイドラインのみで技術的入力フィルタ未実装 (2) DLP (Data Loss Prevention) との連携なし (3) 業務シーン別ルール (機密情報の入力禁止) の周知不徹底。
✅ 教訓:
ガイドラインだけでは事故は防げない。DLP + 入力フィルタ + 研修の三層防御。社内専用 LLM を別途用意。
⚠ ガバナンス⚠ データ品質
2023〜
USA
メディア
New York Times vs OpenAI 著作権訴訟
💸 損失: 数 10 億 USD 請求 + 業界全体への影響 (billions USD)
New York Times が OpenAI と Microsoft を相手取り、ChatGPT が NYT 記事を許可なく学習・出力していると 2023 年 12 月に提訴。請求額は『数十億 USD』。AI 訓練データの著作権問題で最大規模の訴訟。
📋 根本原因 / 教訓 / ソース
🔍 根本原因:
(1) 著作権ある記事を訓練データに無断使用 (2) 出力時に NYT 記事をほぼ逐語的に再生する事例の発生 (3) 学習データ取得時の包括同意なし。
✅ 教訓:
AI の学習データに使用する素材の権利を契約レベルで確定。出力の類似性チェックを実装。
⚠ データ品質⚠ ガバナンス⚠ 契約
2023〜
USA / UK
メディア
Getty Images vs Stability AI 訴訟
💸 損失: 業界全体の構造問題
Stable Diffusion を提供する Stability AI を、ストック画像大手 Getty Images が著作権侵害で提訴。Stable Diffusion の出力に Getty のウォーターマークが残る事例が証拠とされた。
📋 根本原因 / 教訓 / ソース
🔍 根本原因:
(1) Stability AI が Getty の画像を無断スクレイピング (2) 出力に著作権マークが残る = 完全に著作物を学習している証拠 (3) 商用利用ライセンスを取得せず。
✅ 教訓:
画像生成 AI の訓練データは権利明確化したものに限定。出力時のフィルタで著作権物再現を防止。
⚠ データ品質⚠ ガバナンス⚠ 契約
2023〜2023
USA
テック
OpenAI ChatGPT 履歴漏洩バグ (Redis)
💸 損失: 風評 + 改修コスト
OpenAI ChatGPT で、Redis ライブラリのバグにより一部ユーザーが他人のチャット履歴のタイトルおよび支払情報の最初 4 桁を閲覧可能に。OpenAI はサービスを一時停止して対応。
📋 根本原因 / 教訓 / ソース
🔍 根本原因:
(1) Redis クライアント (redis-py) のバグ (2) 大量同時接続時の race condition 検証不足 (3) 個人情報をキャッシュする設計の脆さ。
✅ 教訓:
SaaS 型 LLM はベンダー側バグ起因の漏洩リスクが残る。機密情報の AI 入力は『不可逆漏洩の可能性あり』を前提に運用。
⚠ ガバナンス⚠ データ品質
2023〜2025
Sweden
金融
Klarna AI カスタマーサービス『失敗の成功事例』
💸 損失: 撤退 + 人件費再投資
BNPL 大手 Klarna が 2023 年に『AI で 700 人分のカスタマーサービスを置き換えた』と PR。2 年後の 2025 年、品質低下を理由に再度人間オペレーターを採用すると CEO が公式表明。『AI による無理な人員削減は逆効果』の代表例に。
📋 根本原因 / 教訓 / ソース
🔍 根本原因:
(1) コスト削減を最優先し品質測定を後回し (2) AI が処理できない複雑案件を人間にエスカレーションする設計が未熟 (3) 顧客満足度の継続観測を怠った。
✅ 教訓:
AI による人員削減は『品質維持』を最低条件にする。CSAT 等の品質指標を週次測定し、低下なら即時人員復元する Kill Switch を整備。
⚠ 現場ギャップ⚠ 経営アライン
