この記事で分かること／分からないこと
- 分かること: ニューヨーク市の行政チャットボット「MyCity」について、市監査官室が2025年12月30日に公表した監査報告の指摘内容
- 分かること: OTI(市技術革新局)が主張した精度95%が、どのような分母で算出され監査でどう覆されたか
- 分からないこと: チャットボットが個別にどのような誤回答をユーザーに返したかの全量(監査報告に記載された事例の範囲でのみ扱う)
- 分からないこと: 本稿確認日以降の改修でどこまで精度が改善したか(監査時点の数値のみ)
何が起きた
ニューヨーク市OTI(Office of Technology and Innovation)は、事業者向け情報提供のため2023年9月にAIチャットボットを稼働させ、2025年3月には市の311サービスの内容を含むよう対象を拡張した。ニューヨーク市監査官室(Comptroller)は2025年12月30日付の監査報告書で、このチャットボットが「不正確で一貫性のない回答」を提供していたと結論づけた(出所: NYC Comptroller “Audit Report on the New York City Office of Technology and Innovation’s MyCity System”, IT25PAR20028、https://comptroller.nyc.gov/wp-content/uploads/2026/02/MyCity-System-Development-Public-Final-report-12-30-25-final-copy.pdf 、確認日2026-09-06)。
一次資料は何と言っているか
監査報告によれば、2025年7〜8月に寄せられた2,200件超の質問のうち、フィードバックを送った70件中50件(71.4%)が否定的な評価だった。監査チームが実施した独立検証では、事業者のごみ処理に関する同一の質問を2回投げても回答が食い違い、表記の違い(大文字小文字や語順)によって回答の有無が変わる事例が確認された(出所: 同上)。
OTIは監査に対し、チャットボットは週次で95%超の精度、ほぼゼロのハルシネーション率、否定的フィードバックは全回答の約2.25%にとどまると主張した。しかし監査官室は、OTIが精度の分母を「記録された質問応答の件数」で計算しており、実際に「ユーザーが尋ねた質問数」を分母にすると精度は84.8%〜92.7%に下がると指摘した(出所: 同上)。
監査は7件の是正勧告を出したが、OTIは全ての勧告に同意しなかった(DISAGREED)と報告書に記録されている(出所: 同上)。市の技術革新局は2025年12月22日付の公式発表で、MyCity事業サイトが「ベータ版のAIチャットボットを備えていた」と過去形で説明している(出所: https://www.nyc.gov/content/oti/pages/press-releases/cto_fraser_announces_mycity_progress_updates 、確認日2026-09-06)。
どこで防げたか
監査官室はOTIが「生成AIである以上、回答が常に一貫するとは限らない」と釈明したことに対し、米国立標準技術研究所(NIST)のAIリスク管理フレームワークが、AIシステムには様々な状況下での信頼性と一貫性が求められると定めている点を挙げて反論している(出所: 同上)。精度指標の算出方法が外部から検証できる形で固定・開示されていなかったことが、問題の発見を遅らせた一因として報告書に記録されている。
自社製品に当てはめるなら何を検査するか
- 精度・満足度などの指標は「分母に何を使うか」を明示し、都合よく選べない形で固定しているか
- 同一の質問文言・表記ゆれ(大文字小文字、語順)に対して回答が変わらないかを、リリース前に横断的にテストしているか
- 否定的フィードバックの集計は「回答した件数」ではなく「尋ねられた件数」を分母にしているか
- ベータ表示のまま長期間本番提供を続けていないか。ベータの期限や卒業基準を定めているか
よくある質問
数値は本文で示した一次資料に基づく。出典は各見出しの記載を参照。
Q1. MyCityチャットボットはどんな問題を起こしたのか
NYC監査官室の監査で、同一質問への回答が一貫しない、表記の違いで回答の有無が変わる、答えられるはずの質問に情報がないと回答するなどの事例が確認された。
Q2. 市側はどう説明したか
OTIは監査に対し、週次で95%超の精度を主張したが、監査官室はその算出方法(分母の選び方)によって数値が変わることを指摘し、実際の精度は84.8%〜92.7%になるとした。
Q3. 市はこの指摘を受け入れたのか
監査報告書は、7件の勧告のいずれについても市技術革新局(OTI)が同意しなかった(DISAGREED)と記録している。
Q4. この事例はAir CanadaやTayの事例と何が違うのか
Air Canadaはボットの誤回答が個別の消費者訴訟に発展した事例、Tayは学習データの汚染による暴走の事例だった。MyCityの事例は、行政サービスとして稼働するチャットボットの精度を監査官という第三者機関が定量的に検証し、事業者側の精度主張の算出方法自体に問題があったことを示した点が異なる。詳しくはAIチャットボットの応答暴走を参照されたい。
行政・カスタマー向けAIチャットボットの精度指標を点検したい方は、お問い合わせから編集部までご連絡いただきたい。
- 関連記事: 英国Post Office Horizon事件
- 関連記事: Zillow Offers撤退の一次資料