この記事で分かること／分からないこと
- 分かること: 全件を人が見られない前提で、人間のレビューをどこに置くと効率的かという考え方
- 分かること: 自社実装が現時点で人手チューニング0件という構成になっている実態
- 分からないこと: 人手レビューを追加した場合に幻覚率がどう変化するか(未検証)
- 分からないこと: レビューにかかる人的コストの見積もり
なぜ全件レビューは前提にできないか
有界ドメインの107テナント・約1万件の科目データという規模を考えると、生成された応答すべてを人が目視で確認するのは現実的ではない。件数が増えるほど、人手レビューは全件ではなく、どこに絞るかという設計の問題になる。
自社実装のいまの姿：人手チューニングは0件
編集部が検証に使っている自社RAG基盤の盲検評価(Layer2)は、人手によるチューニングを経ていない(humanTuningCount 0)。つまり、現状では人手の正解ラベル自体が存在せず、判定はLLMを使わないLayer1の機械照合と、別モデルによる盲検(Layer2)の2段構成で完結している(出所: 検証レポート、確認日2026-09-06)。人間のゲートは、少なくともこの検証の枠組みの中には、まだ組み込まれていない。
人間のゲートを置くとすれば、どこが候補になるか
全件を人が見るのが現実的でない以上、人間のゲートを置く候補は絞り込んだ後になる。自社実装のLayer1は、LLMを使わない無料の機械照合で、裏付けの無い主張(幻覚候補)だけを抽出する構成を持つ。この幻覚候補として残ったものだけという絞り込みの出口は、費用のかかるLayer2の盲検だけでなく、人間のレビューを置く先としても構造的に理にかなっている。全件ではなく、機械照合で残った少数を人が見る、という設計である。
「合格した件数が少ない」ことの意味
実測では、12種の失敗モードそれぞれが1〜5件ずつしか検査されておらず、いずれも合格(passed)と記録されている(出所: 検証レポート、確認日2026-09-06)。全件合格という表現は、検査した件数自体が少ないことの裏返しでもある。人間のゲートを検討する際は、この合格件数の少なさを、安全とみなす根拠ではなく、まだ見ていない範囲が広いというシグナルとして読む必要がある。
ゲートを置く場所と、置かない場所を分ける
人間のレビューという資源は有限であるため、すべての経路に均等に配分するのではなく、経路ごとの幻覚リスクに応じて配分する考え方がある。あらかじめ用意した項目にそのまま一致して返す確定配信は構造上幻覚が生じにくく、人間のレビューを重点的に置く必要性は相対的に低い。逆に、自由入力に自由生成で答える経路は幻覚のリスクを持つため、レビューを厚くする候補になる。
人間のゲートをどこに置くかは、検証がまだ薄い領域では特に重みを持つ。誤ると取り返しがつかない領域の扱いはこちらの記事、出典提示だけに頼らない設計は出典提示の限界の記事で扱っている。幻覚率という指標の読み方はこちらの記事を参照してほしい。RAGの運用体制について相談したい方は、お問い合わせから編集部までご連絡いただきたい。
よくある質問
Q1. なぜ全件を人がレビューする設計にできないのか
有界ドメインの107テナント・約1万件の科目データという規模になると、生成された応答すべてを人が目視で確認するのは現実的ではないため、絞り込みが必要になる。
Q2. 自社実装には現在、人間のレビューが組み込まれているか
盲検評価(Layer2)は人手チューニングを経ておらず(humanTuningCount 0)、現状の判定は機械照合(Layer1)と別モデルによる盲検(Layer2)で完結している(確認日2026-09-06)。
Q3. 人間のゲートを置くとすればどこが候補になるか
機械照合(Layer1)で幻覚候補として絞り込まれた少数の応答が候補になる。全件ではなく、絞り込みを通過した範囲に人間のレビューを重点的に配分する考え方である。
Q4. 「全件合格」という結果はどう読むべきか
12種の失敗モードはいずれも合格しているが、各1〜5件しか検査されていない。合格件数の少なさは、まだ見ていない範囲が広いというシグナルでもある(確認日2026-09-06)。
- ハブ記事: RAGサービス比較15選
- 関連記事: RAGの幻覚率をどう測るか
- 関連記事: 誤ると取り返しがつかない領域の扱い
- 関連記事: 出典を示させる設計とその限界