AI技術ガイド
RAGは投げやりな入力にどう応答するか｜非協力的な質問を検査した3件
投げやり・非協力な入力への応答は3件の検査で全て合格と記録されている。件数の少なさをどう読むかまで含めて整理する。
過去の記事
21 / 72 ページ
ARCHIVE
記事一覧
AI技術ガイド
RAGの幻覚率0%は何件で言えるか 95%信頼上限で読み解く標本設計
「幻覚率0%」は標本数を示さなければ何も語っていない。n=12から1000件までの95%信頼上限を使い、RAG評価で何件テストすれば何が言えるかを整理する。
AI技術ガイド
RAGの精度評価は「人手評価」とどれだけ一致するか LLM間一致12件の実例と限界
RAGの自動評価は「人手評価との一致」を基準に設計するのが定石だが、自社の実測はLLM同士の一致であり人手一致ではない。この違いを誠実に整理する。
AI技術ガイド
RAGのレイテンシ計測は「どこで測るか」で結論が変わる — 検索・生成・往復全体とp50/p95の見方
RAGのレイテンシは検索・生成・往復全体のどこで測るかで意味が変わる。自社基盤のcontrol経路とtail経路の構造的な違いと、比較用ベースラインRAGの実装(社内コード)のtimeoutMs...
AI技術ガイド
RAGの評価コストと実行コストは別物 ― 検証¥72と実行時0.12円/sessionの構造の違い
RAGの評価コスト(検証にかかるLLM代)と実行コスト(サービスとして配信する際のコスト)は別の予算に乗る。自社実測の¥72と0.12円/sessionを手がかりに、両者を混同すると何を見誤るか...
AI技術ガイド
RAGの「根拠提示率」とは何か ― hit率・幻覚率との違いと、無料の照合が支える仕組み
RAGの「根拠提示率」を自社RAG基盤のグラウンディング検査の仕組みから定義し、hit率・幻覚率との違い、実測データから言えること・言えないことを整理する。
AI技術ガイド
RAGの『分かりません』率(IDK率)とは何か｜答えない能力の測り方
幻覚率が低くても、それが『正しく答えている』からなのか『答えを避けている』からなのかは別の指標で見る必要がある。IDK率という視点を整理する。