この記事で分かること／分からないこと
- 分かること: 最初の1件を「1つのテナント」に閉じて作る理由
- 分かること: 最初の1件で確認すべき指標(コスト構造・hit率・幻覚率・公開前検査)
- 分からないこと: 何件目・何ヶ月目に規模を広げるべきかという一律の目安(自社では期間で管理していない)
- 分からないこと: 業種を問わず通用する「小さく作る」の単位(対象業務によって異なる)
最初の1件は「テナント」1つに閉じる
対象業務を有界ドメインから選んだあとも、いきなり複数の部署や対象にまたがる形で作り始めると、うまくいかなかった場合にどこに原因があるのかを切り分けにくくなる。自社の構成では、対象を1つの単位(テナント)に閉じて作り、そこで検証してから他の対象に広げるという順番を取っている。最初に着手する業務の選び方は有界かどうかで選ぶ記事で扱った通りだが、選んだ業務の中でも、対象範囲自体を1つに絞ることが「小さく作る」の中身である。
ビルド時にかかるコストを先に把握する
小さく作る際にまず確認すべきは、1つの対象を作るのにどれだけのコストがかかるかである。自社の実測では、生成と盲検を含むビルド時のコストが1テナントあたりおよそ1,500円、実行時は1会話あたりおよそ0円から1円、実測では0.12円/セッションという構成になっている(出所: docs/STORAGE_AND_BILLING.md、確認日2026-09-06)。ビルド時にまとまったコストを払い、実行時のコストをほぼゼロに落とすという構造であり、この配分を先に把握しておくと、対象を広げる際にかかる費用の見通しが立てやすくなる。
最初の1件で確認すべき指標
最初のテナントを作ったら、公開する前に指標を確認する。自社では、hit率が合格基準の91%を下回っていないか、致命的な失敗が無いかを確認しており、有界ドメインの107テナントの集計ではいずれも0件だった(出所: services/verifier/out/ucaro-verification.json、確認日2026-09-06)。幻覚率についても確認するが、標本数が少ないうちは「0%」という表記だけでは意味を持たない。標本数と信頼できる上限の関係は幻覚率0%は何件で言えるかの記事に整理している。あわせて、公開前検査で複数の失敗パターンに対する応答を確認しておく必要があり、その設計は評価設計の記事で扱っている。
全件合格は「十分」を意味しない
最初のテナントで検査した結果がすべて合格だったとしても、それは「その業務では問題が起きない」という保証にはならない。検査の件数が少ないうちの全件合格は、検査した範囲では問題が見つからなかったという意味にとどまる。小さく作る段階では、この限界を運用側が把握したうえで、公開する範囲や利用者への案内の仕方を決める必要がある。件数を増やして検査を厚くしていくかどうかは、対象を広げる判断とあわせて検討する。
広げるかどうかの判断材料をそろえる
最初の1件で確認したコスト構造と検査結果は、次の対象に広げるかどうかを判断する材料になる。判断の基準を「何ヶ月経ったか」ではなく「何を確認できたか」に置くと、対象業務の性質による差を吸収しやすい。具体的には、hit率の基準を下回っていないか、致命的な失敗が無いか、コストが想定の範囲に収まっているかを確認し、これらが満たされて初めて次の対象に着手する、という順番を取る。
よくある質問
Q1. 最初の1件を「テナント」1つに閉じる理由は何か
複数の対象にまたがって作り始めると、うまくいかなかった場合に原因を切り分けにくくなる。1つの対象に閉じて検証してから広げることで、問題の所在を特定しやすくなる。
Q2. ビルド時と実行時のコストはどれくらいか
自社の実測では、ビルド時が1テナントあたりおよそ1,500円、実行時は1会話あたりおよそ0円から1円で、実測値は0.12円/セッションである(確認日2026-09-06)。
Q3. 最初のテナントで確認すべき指標は何か
hit率が合格基準を下回っていないか、致命的な失敗が無いかを確認する。幻覚率は標本数が少ないうちは「0%」という表記だけでは意味を持たないため、標本数とあわせて扱う必要がある。
Q4. 対象を広げるタイミングはどう判断すればよいか
期間ではなく、hit率の基準・致命的な失敗の有無・コストが想定の範囲に収まっているかという確認できた事実を基準にする。
最初に着手する業務の選び方は有界かどうかで選ぶ記事にまとめている。最初のテナントを作る前提となる文書の整理はデータの棚卸しの記事を参照してほしい。検査項目の設計は評価設計の記事で扱っている。RAG導入の進め方について相談したい方は、お問い合わせから編集部までご連絡いただきたい。
- ハブ記事: RAGサービス比較15選
- 関連記事: 評価設計
- 関連記事: 最初に着手する業務の選び方
- 関連記事: 幻覚率0%を主張できる標本数