この記事で分かること／分からないこと
- 分かること: 「基準を満たさなければ出さない」運用としての公開前ゲートの設計
- 分かること: 自社のゲートを構成する基準の組み合わせ
- 分からないこと: ゲートを通った対象が本番のあらゆる入力で安全かどうか
- 分からないこと: ゲートの基準が将来にわたって十分かどうか
公開前ゲートとは何か
公開前ゲートとは、合格基準を満たすまで公開しない運用上の関所である。基準を満たすかを確認する作業自体は検査だが、ゲートは検査結果を見て通す/止めるを判断し、公開の可否に直結させる仕組みを指す。
何を基準にゲートを通すか
自社の構成では、hit率91%を下回るテナントが0件、致命的な失敗のあったテナントが0件であることを、ゲートを通す条件にしている(出所: services/verifier/out/ucaro-verification.json、確認日2026-09-06)。あわせて、一般的な失敗4種と対象領域固有の失敗8種をあわせた12種の失敗モード検査も全件合格が条件になる(出所: out/univ-demo.report.json)。結果はverdict: ALL_PASSという形で記録される。
ゲートを通った記録の残し方
ゲートの判定は個々の項目を都度確認するのではなく、ALL_PASSのような単一の判定値として残す設計になっている。判定に使った各項目(hit率・幻覚率・失敗モードの合否)は元データとして別に保存され、根拠を確認したい場合はそちらに戻る必要がある。
ゲートのコストと運用への組み込み方
Layer1の53クエリとLayer2の盲検12サンプルを合わせた検証コストは72円だった(出所: out/univ-demo.report.json、確認日2026-09-06)。実行時は索引だけを参照する0LLM構成で実測0.12円/session、ゲートのコストは公開前の一度きりの支出にとどまる。コストの低さは検査の網羅性を意味しない。
よくある質問
Q1. 公開前ゲートと合格基準は同じものか
違う。合格基準は「何をもって合格とするか」を決めた線であり、ゲートはその基準を検査結果に照らして通す/止めるを判断する仕組みを指す。
Q2. 自社のゲートは何を条件にしているか
hit率91%を下回るテナントが0件、致命的な失敗があったテナントが0件、12種の失敗モード検査の全件合格を条件にしている(出所: services/verifier/out/ucaro-verification.json、確認日2026-09-06)。
Q3. ゲートを通った記録はどう残しているか
ALL_PASSのような単一の判定値として残しつつ、判定に使った各項目は別に保存している。判定値だけでは根拠が分からないため、確認には元データに戻る必要がある。
Q4. ゲートを運用するコストはどれくらいか
実測では検証コストは72円だった。実行時は0LLM構成のため、ゲートのコストは公開前の一度きりの支出にとどまる。
ゲートを構成する基準の決め方は合格基準の決め方の記事、通った対象をどの順で公開するかは段階公開の記事で扱う。12種の失敗モードの中身は公開前検査の記事を参照してほしい。ゲート設計について相談したい方はお問い合わせから編集部までご連絡いただきたい。
- ハブ記事: RAGサービス比較15選
- 関連記事: 合格基準の決め方
- 関連記事: 段階公開の考え方
- 関連記事: 公開前検査の読み方