AI導入失敗回避ジャーナル ｜ Vol.11 ｜ 2026.08.22
— EU AI Act / GDPR 第22条観点で解剖
オランダ政府税務庁（Belastingdienst）が2013年〜2019年に運用した児童手当（Toeslagen）不正検知アルゴリズムは、約26,000家庭を「不正受給者」として誤認識した。対象家庭は数千〜数万ユーロの返還命令を受け、住宅を失った家庭、児童保護局に子どもを引き離された家庭も報告されている。
判定ロジックには「二重国籍」「低所得」がリスク指標として組み込まれていたが、個別判定の根拠を記録した監査ログは残されていなかった。異議申立てを受けた税務庁は、なぜその家庭が不正認定されたかを説明できなかった。GDPR第22条が要求する「自動化判定に対する意味ある人的関与」と「決定の論理に関する情報提供」の両方が満たされていなかったことになる。
2020年12月、議会独立調査委員会は報告書「Ongekend onrecht（前例のない不正）」で行政基本原則違反を認定。2021年1月15日、Rutte第3次内閣は総辞職。同年12月、オランダデータ保護局（AP）は税務庁に275万ユーロ（約4.4億円）の制裁金を課した。理由は差別的かつ違法なデータ処理である。
被害家庭への補償総額は当初想定を大幅に超え、2024年時点で累計約55億ユーロ（約8,800億円）に達している。監査ログ不在によって「機械が誤っていた」ことを個別に立証できず、和解基準を一律化せざるを得なくなったことが総額を押し上げた要因の一つだ。制裁金と補償額の1,000倍以上の差は、説明責任を果たせなかった代償そのものである。
公開ソース：
・Amnesty International「Xenophobic Machines」（2021年10月）amnesty.org
・オランダデータ保護局（AP）制裁金プレスリリース（2021年12月）autoriteitpersoonsgegevens.nl
① 入力・モデル版・判定結果の対応関係が記録されていない
なぜ：デバッグと事後説明のために必要な粒度で「いつ・どのモデル版が・どの入力で・どう判定したか」が残されていなかった。着手時のADR（意思決定記録）にログスキーマを含めていれば気づけた欠落である。
② 人的レビューが「形式的」で実質を持たない
なぜ：GDPR第22条が要求するのは「意味ある人的介入」だが、レビュー担当が判定根拠にアクセスできない設計になっていた。運用設計レビューで「レビュアーが何を見て承認するか」を問えていれば止められた。
③ リスク指標の妥当性を定期監査するプロセスがない
なぜ：一度導入した指標（今回は二重国籍）が差別を生むかを外部監査する仕組みがなく、社内で誰も止められなかった。年次のアルゴリズム影響評価（AIA/DPIA）で捕捉できた事象。
④ 「説明できないこと」の法的リスクを過小評価
なぜ：説明責任を果たせないと制裁金より和解費用の方が桁違いに膨らむ。今回は制裁金の1,000倍規模の補償費用が発生。事業影響評価に「立証責任を負えない場合の交渉不利」を項目化しておくべきだった。
「EU AI Act 高リスクAI・7つの技術文書要件」（今後公開予定）
高リスク分類された場合、事業者が保存すべき技術文書は附属書IVで7カテゴリに整理される。監査ログ設計の起点となる要件を原文対照で整理する。
「GDPR第22条 自動化判定 判例カタログ 2020-2025」（今後公開予定）
Uber/Ola運転手解任事件（2023年アムステルダム控訴審）、SCHUFA信用スコア事件（2023年CJEU C-634/21）等、第22条を巡る主要判例を意思決定への影響順に整理する。
個別トピックのリクエストは ai-media.co.jp または お問い合わせフォーム よりお寄せください。
監査ログは「保険料」ではなく「証拠能力」である。オランダの事例で制裁金275万ユーロと補償55億ユーロの1,000倍差を生んだのは、機械の誤りを個別に立証できなかったことによる交渉力の喪失だった。次号（Vol.12）は「PoCから本番化へ：18か月ゲートで確認すべき7指標」を予定。
弊社が運営する連載『AIで投資の壁を越える』(note) では、AI 投資・AI 商用化の構造的な壁を 18 本の実装記録で検証しています。AI 導入失敗の根源を技術側から知りたい方はこちらへ。