実測レポート
自社で運用して、測った数字だけ
AIの導入に関する記事は多くありますが、実際に運用して測った数字や、 試して効かなかった記録はあまり公開されていません。 このページは、編集部が自社の運用から取り出した実測値をまとめたものです。
すべて自社のシステム・データベース・計測ツールから直接取得した値です。 推定した数値は書いていません。測っていないものは「測っていない」と書いています。
代表的な数字
39.2%
726記事の検索表示のうち、上位1本が占める割合
65.1%
補助金1,630件のうち、金額を数値として比較できないもの
16件
移行後に落ちたE2Eテスト。製品側の不具合はゼロだった
6/8
AI議事録で原音にあるのに落ちていた重要事実（主張8件は全て裏付けあり）
5.1倍
同じ期間・同じサイトで、集計の次元を変えたときの表示回数の差
3/5
接続しているMCPサーバーのうち、現在落ちている数
レポート一覧
運用して測った
AIライティングで726記事を運用した結果 上位1本が表示の39.2%、上位50本（6.9%）で84.6%。209本（29%）は表示ゼロ。本数は流入に比例しなかった 補助金情報はなぜ比較できないのか 本番データ1,630件を集計。金額で比較できるのは34.9%、いま応募できるのは34.4%。「書いてあるのに使えない」が29.7% AI文字起こしと議事録の実務 57分の会議をAI議事録と原音で照合。主張8件は全て裏付けあり、落ちていた重要事実が6件。落ちるものには型がある オンプレミスでLLMを動かす GPU5枚での構成と実測レイテンシ。投機的デコード・追加学習・規則の追加・知識の追加、4つの棄却記録つき壊れた記録
HTTP 200なのに壊れている 無音で壊れた6件。削除済み記事35本が全文配信、7KBの裸ページが数か月、定期実行が毎日「成功」で0件 E2Eテストが16件落ちた。原因は全部テスト側だった 同じ時期に製品側で出ていた実害9件は、テストで捕まっていなかった。落ちるテストと落ちない不具合の非対称 Search Consoleの数字を5倍間違えた 同じ期間で6,251とも31,899とも出た。最大の流入元が測定対象から丸ごと抜けていた話つき MCPを実運用して分かったこと 5つ繋いで3つが落ちている。繋ぐのは簡単で、難しいのは繋ぎ続けること設計と実装
プロンプトは足しても良くならない 規則を書き足すと50ポイント、背景知識を12個足すと33ポイント下がった。効いたのは別の3つ AIエージェントとは 並列6体が成果ゼロで終わった記録と、同じ体制で5体すべて成功した条件 AI記事のコンプライアンスチェック 景表法・薬機法を機械で止める二段構え。724記事に遡って適用した結果は減点1記事 ハルシネーション対策の実務 出典が付いていても、出典を確かめないと検証にならない。中継用の住所をそのまま数えていた失敗つき道具の使い方
Geminiは無料でどこまで使えるか 1年以上のメディア自動運用で、段ごとにモデルを使い分けてきた記録 Claude Codeの使い方 30日で38,546件の委任、消費の94%は文脈の読み直しだった ずんだもんで解説動画を自動生成する 規約の読み方と4段構成。所要時間は「計測していないので書けない」この数字について話す
ここに書いた数字は、すべて編集部が自分たちのシステムで測ったものです。 同じ測り方を、自社の環境でやってみたいという場合や、 測ってはみたが読み方が分からないという場合は、相談を受け付けています。
お引き受けするのは、AI導入の設計・実装と、導入後に品質と効果を確かめる仕組みづくりです。 効果や数値の保証はいたしません。補助金・助成金の申請代行も行っていません。