RAGの固有名照合はどこまで正規化するか|表記ゆれと過剰一致のトレードオフ
正規化を強めれば表記ゆれを拾えるが、無関係な語まで一致させてしまう。固有名照合の正規化をどこまでやるべきかを考える。
22 / 75 ページ
正規化を強めれば表記ゆれを拾えるが、無関係な語まで一致させてしまう。固有名照合の正規化をどこまでやるべきかを考える。
数値は言い切りになりやすく、機械的に照合しやすい主張である。数値・単位をどう抜き出し、どう照合しているかを見る。
答えないという選択肢を機械の側に持たせることが、幻覚を減らす設計のひとつになる。fallback経路の仕組みを見る。
裏付けのない主張を検出するには、根拠が無ければ通さない仕組みを機械的に作る。LLM不要のLayer1グラウンディング検査の中身を見る。
どちらも「検証していない範囲まで言い切ってしまう」失敗である。自社検証でのU7・U8それぞれ1件の意味を整理する。
属性の誤りは対象自体が合っているだけに見つけにくい。自社検証でのU5の件数2件と、そこから言える範囲を整理する。
前提条件の捏造・取り違えは、利用者の判断や行動に直結しやすい失敗である。自社検証でのU4の件数と、その意味を整理する。
曖昧な質問への断定は、事実の誤りとは別の軸で起きる失敗である。自社検証でのU3の件数と、そこから言える範囲を整理する。
別カテゴリの情報を混ぜて答える失敗は、検索自体は当たっているだけに見つけにくい。自社検証でのU2の件数と、その「合格」が意味する範囲を整理する。