この記事で分かること／分からないこと
- 分かること: 「誤ると取り返しがつかない領域」という考え方の枠組み
- 分かること: 自社の検証データの中でこの枠組みがどう位置づけられているか
- 分からないこと: 医療分野の具体的な規制・ガイドラインの内容(本稿では扱わない)
- 分からないこと: 自社が医療分野でRAGを提供した実績(提供していない)
まず前提を明記する
編集部および自社は、医療分野へのRAG導入を行っていない。本稿で書くのは、医療という領域を例に、誤りの重さが領域によって違うという考え方を一般化して紹介することに限る。医療特有の規制やガイドラインの内容には立ち入らない。
誤りには軽重があるという前提
RAGが出す誤りは、すべてが同じ重さを持つわけではない。言い回しの誤りのように読み手が気づいて訂正できる誤りもあれば、期限や条件、安全に関わる判断のように、誤ったまま行動されると取り返しがつかない性質の誤りもある。同じ「幻覚が観測されなかった」という結果であっても、それがどの重さの領域で確認された結果かによって、意味は変わってくる。医療は、一般に誤りの重さが大きくなりやすい領域として挙げられることが多い。
自社の検証における位置づけ
自社が実際に検証している教育領域の失敗モード分類には、汎用的な失敗4種とドメイン固有の失敗8種があり、そのうちの一つが最も致命的な領域の情報を捏造するという型として記録されている。この型が検証全体の中でどれだけ検査されているか、その件数がいかに少ないかについては、誤ると取り返しがつかない領域とRAGの記事で扱っている。本稿で改めて数値を繰り返すことはしない。
医療分野で考えられる論点(断定しない)
医療分野に固有の規制やガイドラインの内容には立ち入らないが、「誤ると取り返しがつかない領域」という考え方を一般化すれば、次のような設計上の論点が候補になる。根拠が曖昧な場合に断定を避け、確認を促す応答に倒すかどうか。回答の根拠となった文書や条件を提示できるかどうか。人間による確認をどの経路にどれだけ厚く配分するかどうか。これらは医療分野に限らず、誤りの重さが大きい領域全般に共通しうる論点として挙げている。
検証が薄い領域を「安全」と呼ばない
自社の教育領域における検証でも、最も重い失敗モードの検査件数はきわめて少ない。件数が少ないまま、その型の失敗が起きなかったという結果だけを取り出して、安全だと述べることはできない。医療のように誤りの重さがさらに大きいと考えられる領域では、この検証が薄いという制約を、より慎重に扱う必要がある、というのが本稿で言える範囲である。
検証データが薄いという制約は、自社が実際に検証している教育領域にも共通してある。教育領域のRAGの記事で、検証の件数と信頼上限の読み方を扱っている。制度が頻繁に改正され、答えられない質問が増えやすい自治体の領域については自治体の問い合わせとRAGの記事にまとめている。医療分野を含む、誤りの重さが大きい領域でのRAG設計について相談したい方は、お問い合わせから編集部までご連絡いただきたい。
よくある質問
Q1. 自社は医療分野でRAGを提供しているか
提供していない。本稿は医療という領域を例に、誤りの重さという考え方を一般化して紹介したものである。
Q2. 「誤ると取り返しがつかない領域」とはどういう考え方か
読み手が気づいて訂正できる誤りと、誤ったまま行動されると取り返しがつかない誤りを区別し、後者については検証や設計をより慎重に扱うべきだという考え方である。
Q3. この考え方はどこから来ているか
自社が教育領域の検証で使っている失敗モード分類の一部を一般化して援用したものである。具体的な件数や検証内容は別記事にまとめている。
Q4. 医療分野の具体的な規制やガイドラインはこの記事で扱っているか
扱っていない。裏付けを取れていない内容を書かないという方針のため、規制やガイドラインの条文には立ち入らない。
- ハブ記事: RAGサービス比較15選
- 関連記事: 誤ると取り返しがつかない領域とRAG
- 関連記事: 教育領域のRAG
- 関連記事: 自治体の問い合わせとRAG