この記事で分かること／分からないこと
- 分かること: 対象を段階的に公開する考え方
- 分かること: 段階を広げる際に何を確認し直すべきか
- 分からないこと: 何段階に分けるべきかの一律の正解
- 分からないこと: 段階公開だけで本番の問題を防げるかどうか
一度に全員へ見せない理由
検証を終えた対象をいきなり全員に公開すると、想定外の入力や文書の変化で問題が起きた場合、影響が公開範囲全体に及ぶ。段階公開は、範囲を区切り小さい範囲で問題が無いことを確認してから広げる考え方である。
どの順で対象を広げるか
一般的な順序は、社内の限られた利用者で確認し、次に一部利用者へ限定公開し、問題が無ければ全体公開する区切り方になる。数や期間は対象により異なり一律の正解は無い。重要なのは次の段階に進む前に何を確認するか決めておくことである。
各段階でゲートを通し直す
段階を広げる際は合格基準を毎回あてはめ直す必要がある。自社の構成ではhit率91%を下回る対象が無いこと、致命的な失敗が無いことが基準だが(出所: services/verifier/out/ucaro-verification.json、確認日2026-09-06)、これは文書や利用者が変わるたびに確認し直す対象になる。文書が更新されれば検証時の結果は次の段階に当てはまるとは限らない。
段階を広げるコストの構造
自社の単位経済では、対象を1つ追加するビルドコストがおよそ1,500円/テナント、実行時はおよそ0〜1円/会話という構造(出所: docs/STORAGE_AND_BILLING.md、確認日2026-09-06)。ビルド時に検証コストを払い実行時をほぼゼロに抑えるため、段階を1つ追加するたびの追加コストは主にビルド時の検証に集中する。
段階公開でも防げないこと
段階公開は影響範囲を小さく保つ仕組みであり、問題を無くす仕組みではない。幻覚率0%という結果でも、標本数が小さければ(Layer1の53件やLayer2の12件)、真の発生率は上限値(53件なら5.5%以下、12件なら22.1%以下)としてしか言えない(確認日2026-09-06)。段階を広げても制約は変わらない。
よくある質問
Q1. 段階公開は何段階に分ければよいか
一律の正解は無い。社内の限られた利用者への確認、一部利用者への限定公開、全体公開という区切りが一般的だが、数や期間は対象によって異なる。
Q2. 段階を広げるたびに何を確認すべきか
最初に決めた合格基準(自社の場合はhit率91%を下回る対象が無いことなど)を、文書や利用者が変わるたびに確認し直す必要がある。
Q3. 段階公開のコストはどのような構造になっているか
対象を1つ追加するビルドコストがおよそ1,500円/テナント、実行時はおよそ0〜1円/会話という構造(出所: docs/STORAGE_AND_BILLING.md、確認日2026-09-06)。
Q4. 段階公開をすれば問題は防げるのか
防げない。影響範囲を小さく保つ仕組みであり、標本数が小さいことに由来する測定の限界(12件の検証では真の発生率は22.1%以下としてしか言えない)自体は解消しない。
確認すべき合格基準の決め方は合格基準の決め方の記事、判断に使う検査は公開前検査の記事を参照してほしい。全体公開後の運用体制は運用体制の記事で扱う。段階公開について相談したい方はお問い合わせから編集部までご連絡いただきたい。
- ハブ記事: RAGサービス比較15選
- 関連記事: 公開前ゲートの運用
- 関連記事: 運用体制の作り方
- 関連記事: 公開前検査の読み方