公開前検査を通った答えの集合だけを持っているとしても、利用者はその集合に無い質問もいずれ聞いてくる。そのときに正しく「分かりません」と言えるかどうかも、チャットボットの精度のうちに数える必要がある。
この記事で分かること
- 「答えられない」と正しく言えたかを測る指標の中身
- その指標が100%だったことの意味と、答えられる質問への正答率とのセット関係
- 100%という数字が持つ限界
この記事で分からないこと(正直に書く)
- 実際の利用者が想定していない聞き方をした場合にも同じ精度が出るか
- どこまで幅の広い質問にこの数字が当てはまるか
「分からない」と言えることも精度のうちに数える
問い合わせ対応チャットボットの精度は、正しく答えられたかだけでなく、答えられないときに正しく「分からない」と言えたかも含めて測る必要がある。自社の検証では、このIDK正解率(本来答えられないはずの質問に対して正しく「分からない」と返せた割合)を項目として持ち、有界ドメイン107テナント・約9,933件を対象にした検証の平均IDK正解率は100%、平均hit率(答えられる質問にきちんと答えられた率)は99.7%だった。この107テナントは自社で構築したものであり、顧客数ではない(出所: 自社の運用記録、確認日2026-09-06)。
100%は「答えるべき質問にも答えている」とセットで見る
IDK正解率が高いだけでは意味がない。何でも「分かりません」と答えれば、この数字は簡単に100%に近づいてしまう。だからこの検証では、答えられる質問にきちんと答えられているかという合格基準も同時に置いていて、hit率91%を下回るテナントが0件、という形で記録されている(出所: 自社の運用記録、確認日2026-09-06)。「分からないと言えるか」と「答えるべきものに答えているか」はセットで見て初めて、判定として意味を持つ。
100%を出した標本はどこまでの幅か
同じ検証基盤で行った、別の切り出しの結果も参考になる。53クエリを対象にした無料の機械照合(Layer1)では、IDK正解率100%という結果が出ている(出所: 自社の運用記録、確認日2026-09-06)。ただしこの結果を見るときは、53件という件数の内訳まで踏み込む必要がある。利用者が自然な言い回しで聞いてくる、答えの境界が曖昧な質問まで同じ精度でカバーできているかは、件数だけでは分からない。
設計としてどこに落とすか
実務では、「答えの元になる事実集合に無いものは、無理に埋めずにIDKを返す」という設計判断そのものが、自動化してよい範囲の記事で書いた有界ドメインの考え方と表裏の関係にある。IDKを返すこと自体は簡単だが、それが正しいIDKかどうかは、公開前検査の記事にある検査を通して初めて確認できる。答えられなかった質問を人に渡す判断は有人対応への切り替えの記事、その後どう次に活かすかはFAQの整備順序の記事で扱う。
答えられないはずの質問に無理に答えてしまった結果、企業側が責任を負った事例は、Air Canadaのチャットボット訴訟の記事で扱っている。
自社のチャットボットの応答設計について相談したい場合は、お問い合わせから編集部まで連絡してほしい。
よくある質問
Q1. IDK正解率とは何を測る指標か
本来「分かりません」と答えるべき質問に対して、実際に正しくそう答えられた割合を測る指標である。
Q2. IDK正解率100%は精度が高いという意味か
それだけでは判断できない。何でも「分かりません」と答えれば数値は上がるため、答えられる質問への正答率(hit率)とセットで見る必要がある。自社の検証ではhit率91%を下回るテナントは0件だった。
Q3. 100%という結果はどの範囲まで確認したものか
有界ドメイン107テナント(自社構築、顧客数ではない)の平均と、53クエリを対象にした機械照合の結果である。自然な言い回しの曖昧な質問まで同じ精度が出るかは、この件数だけでは分からない。
Q4. 「分かりません」と答える設計にする利点は何か
事実集合に無い質問に無理に答えを作らないことで、誤った情報をそのまま利用者に渡すリスクを減らせる。