この記事で分かること／分からないこと
- 分かること: 自社が実際に検証している唯一の領域が教育領域であること
- 分かること: 検証の規模(107テナント・約9,933件)と、その数字が意味しないこと
- 分かること: 幻覚率0%を95%信頼上限とセットで読む方法
- 分かること: 教育領域でRAGが難しくなる固有の理由
- 分からないこと: 教育以外の領域(法務・製造・医療・自治体)での自社の実測(検証していない)
この5本の中で、教育だけが実測を持っている
法務・製造・医療・自治体という他の4領域については、自社は独自の検証データを持たない。教育領域だけは例外で、自社が構築した検証環境で実際に数値を取っている。本稿はその実測の中身と、数字をどう読むべきかを扱う。
何を、どれだけ検証したか
自社は、有界ドメインの107テナント・約9,933件の科目データを対象に検証を行った(出所: 検証レポート、確認日2026-09-06)。ここでいう107テナントは、自社が構築した検証環境の単位であり、顧客数を意味するものではない。この点は誤読されやすいため、あらためて明記しておく。検証全体の平均hit率は99.7%、幻覚が観測されたテナントは0件だった(出所: 検証レポート、確認日2026-09-06)。
幻覚率という数字を単独では読まない
検証の中には、107テナント全体の集計とは別に、より詳しく調べた2つの内訳がある。Layer1(LLMを使わない無料の機械照合)では53件のクエリを検証し、幻覚は0件だった。0件観測時の真の発生率の95%信頼上限は、二項比率の公式から5.5%と計算できる(出所: 検証レポート、確認日2026-09-06)。Layer2(別モデルによる盲検)では12件を検証し、こちらも幻覚は0件だったが、標本数が少ない分、95%信頼上限は22.1%まで上がる(出所: 検証レポート、確認日2026-09-06)。件数を伴わずに幻覚率を語ると、あたかも発生しないことが確定したかのように読めてしまうが、実際にはこの上限の範囲でしか言えない。
教育領域でRAGが難しくなる理由
教育領域の文書は、科目名や入試制度、開講時期(前期・後期)といった固有の情報を多く含み、年度や期によって内容が変わる点で、時点によって答えが変わる文書に共通する性質を持つ。検証で確認された失敗の型には、存在しない科目に回答してしまう、別の科目の情報を混ぜてしまう、開講時期のような属性を誤るといったものが含まれている(出所: 検証レポート、確認日2026-09-06)。これらはいずれも1〜数件という少ない件数でしか検査されておらず、全件合格という結果は、検査した件数が少ないという意味でもある。
選ぶときに見ておきたい論点
教育領域向けにRAGを検討する際は、検証の標本数を公開しているか、hit率の合格基準を明示しているか、失敗の型ごとに件数を出しているかを確認する材料にできる。自社の検証でいえば、hit率の合格基準は91%に置かれており、これを下回るテナントは0件だった(出所: 検証レポート、確認日2026-09-06)。ただし、この基準や結果は自社の検証環境における数字であり、他の教育機関や他社の環境にそのまま当てはまるとは限らない。
検証件数が少ない領域をどう扱うかという考え方は、誤ると取り返しがつかない領域とRAGの記事にまとめている。制度の改正が多く、答えられない質問が増えやすい自治体の領域は自治体の問い合わせとRAGの記事に、版と適用時期で答えが変わる法務文書の領域は法務文書とRAGの記事に整理している。教育領域へのRAG導入について相談したい方は、お問い合わせから編集部までご連絡いただきたい。
よくある質問
Q1. 自社は教育領域でどんな検証をしているか
有界ドメインの107テナント・約9,933件の科目データを対象に、hit率と幻覚率を検証している(確認日2026-09-06)。
Q2. 107テナントは顧客数を意味するか
意味しない。107テナントは自社が構築した検証環境の単位であり、顧客数とは別の数字である。
Q3. 「幻覚率0%」は保証と言えるか
言えない。Layer1の53件では95%信頼上限が5.5%、Layer2の盲検12件では95%信頼上限が22.1%であり、0%は測定できた範囲の上限であって、性能を保証する数字ではない。
Q4. 教育領域で難しいのはどんな点か
科目名や入試制度、開講時期といった固有の情報が年度や期によって変わる点で、存在しない科目への回答や属性の取り違えといった失敗が実際に検証で確認されている。
Q5. この検証結果は他の領域にも当てはまるか
当てはまらない。自社が実測を持つのは教育領域に限られ、法務・製造・医療・自治体については検証していない。
- ハブ記事: RAGサービス比較15選
- 関連記事: 誤ると取り返しがつかない領域とRAG
- 関連記事: 自治体の問い合わせとRAG
- 関連記事: 法務文書とRAG