ANTI-USECASES

やめたほうがいい AI ユースケース 20 選

どんなに優秀なモデルでも「使い方」を誤れば確実に失敗します。現状の AI 性能 / 法規制 / 倫理で、編集部が『失敗が約束された』と判定する 20 のユースケースを解剖。

📌 判定基準

  • 法規制 (GDPR / 個人情報保護法 / EU AI Act) に抵触する可能性が高い
  • 失敗時の金銭的・人命的損失が許容範囲を超える
  • ハルシネーション・バイアスの検出手段が現状ない
  • 説明責任が果たせない (ブラックボックス問題)
  1. AI 単独で採用合否を判定する
    Amazon 履歴書 AI が女性差別を学習した事例。バイアスを検出する第三者監査なしの自動判定は EU AI Act でも高リスク。
  2. 医療診断を AI 単独で確定する
    医師の独立判断を経ない AI 診断は薬機法・医師法で違法。Watson Oncology の 62 億円失敗の構造。
  3. 信用評価・与信判断を AI 単独で行う
    EU AI Act で『高リスク』分類。日本でも貸金業法・銀行法の自動意思決定規制対象。
  4. 顧客向けチャットボットに人間レビューを置かない
    Air Canada 訴訟 (CAD 812 賠償命令)。AI 出力も企業の発言として法的責任を負う。
  5. 契約締結・法的拘束ある合意を AI で自動化
    電子署名法・民法上の意思表示要件を満たさない可能性。法的紛争で争えなくなる。
  6. 感情認識 AI を職場・教育機関で使う
    EU AI Act 禁止カテゴリ。日本でも個人情報保護委員会がガイドラインで否定的。
  7. リアルタイム生体認証を公共空間で使う
    EU AI Act 原則禁止。日本でもプライバシー権・肖像権との衝突。
  8. ソーシャルスコア (社員 / 顧客評価) を AI 任せにする
    EU AI Act 全面禁止。中国の社会信用システム類似で国際的批判。
  9. AI に Stop Loss (取引自動停止) なしで投資判断させる
    Knight Capital 366 億円 (45 分) 損失の再来。Kill Switch 必須。
  10. 個人情報をマスキングなしで AI に学習させる
    Samsung 機密流出事例。GDPR・個人情報保護法違反、損害賠償が発生。
  11. AI 出力をそのまま外部公開する (人間チェックなし)
    Microsoft Tay 24 時間炎上、Amazon 著作権類似出力で訴訟リスク。
  12. PoC で『中止条件』を設定せず無限延長する
    Watson MD Anderson 18 か月停滞 → 62 億円。サンクコストバイアスの典型。
  13. 教師なし学習を機密データに直接適用する
    データの偏りが見えないままモデルが固定化。差別検出が事後にしかできない。
  14. 未公開財務情報の要約に Public AI を使う
    インサイダー取引規制リスク。OpenAI 等 SaaS は内部利用扱いされない可能性。
  15. AI で『誰でも嘘の動画を作れる』機能を一般公開する
    ディープフェイクで名誉毀損・選挙妨害の凶器に。法的責任は提供者にも及ぶ。
  16. AI による予想・占いをサービスとして売る
    景品表示法・特定商取引法の優良誤認リスク。『当たる』表記は事実上禁止。
  17. ハルシネーションのまま医薬品・健康情報を発信
    薬機法 (旧薬事法) 違反。広告規制・誇大広告の対象。
  18. AI 出力を学術論文の主筆として発表する
    Nature / Science で共著者として認めない方針。撤回リスク・剽窃疑惑。
  19. 業務時間外の社員監視に AI を使う
    労働基準法・プライバシー権侵害。EU では明確に違法。
  20. クライアントに『AI 使ってないフリ』で AI 出力を納品する
    2024 年から多数の訴訟事例。契約解除 + 賠償請求の典型パターン。

✅ 代わりにやるべきこと

  • 意思決定支援として使う (Human-in-the-loop)
  • 下書き作成に留め、最終判断・公開は人間
  • 事後監査・分析 (リアルタイム判定ではなく事後説明)
  • 定型タスク自動化 (リスクが許容範囲内のルーチン)
  • RACI で説明責任を明確化 (RACI テンプレート参照)

📬 失敗ユースケースの最新解剖を週 1 受信

「やってはいけない AI ユースケース」を毎週 1 件、実在事例の構造分析つきで配信します。