AI技術ガイド
RAGの再現率と適合率、どちらを優先すべきか
検索を広げれば再現率は上がるが適合率は下がる。RAGの評価でこのトレードオフをどう考えるべきかを整理する。
過去の記事
24 / 75 ページ
ARCHIVE
記事一覧
AI技術ガイド
RAGの『分かりません』率(IDK率)とは何か｜答えない能力の測り方
幻覚率が低くても、それが『正しく答えている』からなのか『答えを避けている』からなのかは別の指標で見る必要がある。IDK率という視点を整理する。
AI技術ガイド
RAGの幻覚率をどう測るか｜2層検査とn=53・n=12が語る「0%」の中身
幻覚率0%は単独では意味を持たない。自社の2層検査の仕組みと、標本数から導かれる95%上限の考え方を整理する。
AI技術ガイド
RAGの「ヒット率」とは何か｜自社実測107テナントで見る99.7%の中身
RAGのヒット率は『引くべき文書を引けたか』を示す指標。自社実測107テナント平均99.7%の中身と、この数値だけでは分からないことを整理する。
導入事例
10分
自社AIメディア509本を全数監査した — 重複168万字、AIの作業報告63本、死にリンク753件
自社が運営するAIメディア「AIコンパス」の公開記事509本を全数監査した。段落まるごとの重複が348本・7,122箇所・1,686,574字、AIアシスタントの作業報告がそのまま本文として公開...
導入事例
8分
主キーのコロン1文字で、966件中895件がクローラーから消えていた
自社の補助金検索サービスで、複数ソースを合成したIDに含まれるコロン1文字を、nginxとサイトマップ生成の正規表現が拒否していた。人間のブラウザでは何の問題もなく表示されるため誰も気づかず、b...
導入事例
7分
AIに事例を書かせたら、実在しない店と店長が生まれた
Web検索を無効化した状態のLLMに『導入事例』というジャンルの記事を書かせた結果、実在しそうな店名・人物名・導入日付を伴う完全な創作が30本、自社のnoteアカウントから公開されていた。調査が...
導入事例
9分
AI可視性の定点観測 第0回 — 2026年8月、自然な質問12問に対する自社の出典はゼロだった
生成AIが自社を出典に選ぶかを毎月測る連載の第0回。2026年8月、生活者が実際に抱く自然な質問12問(自社名を含まない)に対し、ChatGPT型Web検索・Google検索・Gemini・Pe...
導入事例
11分
AIに引用される会社になろうとして、自社の記事1,892本を消した
生成AI検索に一次情報として引用されたいと考え、自社サイト群を棚卸しした。出てきたのは架空の「事例」記事30本、更新日だけ書き換える鮮度偽装、実在企業が特定可能な否定的推測13本、JSON-LD...
導入事例
8分
ものづくり補助金 第21次公募に自社で申請し、採択されるまで — ALLFORCESの一次体験
補助金検索サービス「カンタン補助金」を開発するALLFORCESが、令和7年度ものづくり補助金第21次公募(受付番号R113210352)に一事業者として自ら申請し、2026年1月23日に採択、...