この記事で分かること／分からないこと
- 分かること: AI事業者ガイドライン(第1.0版)本編が「検証可能性の確保」として実際に何を記述しているか
- 分かること: 自社の公開前2段階検査の仕組みと、標本数付きの実測値
- 分からないこと: 自社の検査手順がガイドラインの記述を法的に満たすか(編集部は法律の専門家ではない)
- 分からないこと: 幻覚率0%を本稿の標本数を超えて一般化できるか
編集部は法律の専門家ではなく、本記事は法的な助言ではない。
ガイドラインは「検証可能性の確保」をどう書いているか
「AI事業者ガイドライン(第1.0版)」本編には、透明性の項目に「①検証可能性の確保」という記述があり、合理的な範囲でAIシステム・サービスの開発過程、入出力、学習プロセス、推論過程、判断根拠等のログを記録・保存し、記録方法・頻度・保存期間等を事故の原因究明や再発防止策の検討を踏まえて検討する旨が記されている(出所: 経済産業省・総務省「AI事業者ガイドライン(第1.0版)」本編、https://www.meti.go.jp/shingikai/mono_info_service/ai_shakai_jisso/pdf/20240419_1.pdf、確認日2026-09-06)。AI提供者向けには、提供後に適切な目的で利用されているかを定期的に検証する旨も挙げられている(出所: 同PDF、確認日2026-09-06)。
自社は公開前に2段階の機械照合を通している
自社の大学向けAI「convai」では、公開前に2段階の検査を通す。Layer1は応答中の数値や科目名らしき語などの「事実主張」を根拠集合と照合し、裏付けの無いものを候補検出する、LLM不要の無料検査。Layer2は候補を別モデルで確認する盲検である(出所: 自社の運用記録、確認日2026-09-06)。
「幻覚率0%」は標本数とセットでなければ検証にならない
実測では、あるテナントのLayer1(53件のクエリ)で幻覚率0%、同テナントのLayer2の盲検(12件のサンプル)で幻覚率0%という結果が出ている(出所: 自社の運用記録、確認日2026-09-06)。ただし0件観測の結果は標本数を離れて「幻覚が起きない」と主張できるものではなく、0件観測時の95%信頼上限を求める式に当てはめると、53件で0件の上限は5.5%、12件で0件の上限は22.1%になる(出所: 二項比率信頼区間の公式、詳細は標本数の記事、確認日2026-09-06)。「0%」を件数と切り離さずに示すことが、検証可能性の確保に対する自社なりの応答になる。
この記事で扱っていないこと
正直に書くと、自社の検査手順がこの記述を法的に満たすかは編集部では判断できない。ガイドラインは考え方を示す文書であり、条文レベルの基準までは踏み込んでいない。幻覚率0%も今回の標本数の範囲内のもので、それを超えて一般化はできない。検査設計の詳細は公開前検査の記事にまとめている。
記録の範囲はログと監査の記事、契約先を含めた範囲は委託先管理の記事で扱う。相談はお問い合わせから編集部まで。
よくある質問
Q1. ガイドラインは「検証可能性の確保」として何を求めているのか
開発過程・入出力・学習プロセス・推論過程・判断根拠等のログを、合理的な範囲で記録・保存することを求めている。記録方法・頻度・保存期間は、事故の原因究明や再発防止の重要性を踏まえて検討するとされている。
Q2. 自社の公開前検査はどのような仕組みか
LLMを使わない無料の機械照合(Layer1)で事実主張を根拠集合と照合し、裏付けの無いものを候補として抽出したうえで、別モデルによる盲検(Layer2)で確認する2段階の構成である。
Q3. 「幻覚率0%」という実測値はそのまま信頼できるのか
そのままでは信頼できない。53件で0件の95%信頼上限は5.5%、12件で0件の場合は22.1%であり、標本数を示さない「0%」は根拠として弱い。
Q4. 自社の検査はガイドラインの要請を満たしていると言えるか
編集部では判断できない。ガイドラインは考え方を示す文書であり、条文レベルの基準までは踏み込んでいないため、法的な適合性の評価は本稿の範囲外である。