AI技術ガイド
状況の表現を変えると、判断の結果が反転する
判断モデルの精度は、モデルの選び方だけでなく「状況をどう表現するか」でも大きく動く。140通りの表現を探索して分かった、抽象度の山と符号の反転。
過去の記事
14 / 75 ページ
ARCHIVE
記事一覧
AI技術ガイド
複数エージェントの批判が全滅判定を出すとき、何を疑うべきか
「複数のエージェントに批判させれば精度が上がる」という前提そのものを、自社の失敗例で検証する。初回の4視点批判は全滅判定を出したが、それは案件の欠陥ではなかった。
AI技術ガイド
モデル単体の性能よりシステム全体の性能が判断を分ける
個人化やキャラクター設計の議論は「どのモデルが強いか」に寄りがちだが、比較対象をモデル単体からシステム全体に変えると評価が反転する場面があった。
AI技術ガイド
判断を誰から借りるか 種類が変われば正解も反転する
個人化の設計で省略されがちな「誰の判断を借りるか」という問い。自社の検証では、判断の種類によってこの答えが正反対になることが分かっている。
AI技術ガイド
抽象度には山がある 粗くすると上がり、粗すぎると消える
判断の記述を粗くすると個人差の再現は上がるが、粗くしすぎると未知環境への転移はむしろ悪化する。抽象度と成績の関係が単調ではないという自社の実測をまとめる。
AI技術ガイド
評価器が測定対象に盲だったとき 「無価値」ではなく「未測定」を見分ける
評価器が0%を返しても、測っている対象に効果が無いとは限らない。評価器自体が測定対象に盲だったという自社の実測をもとに、計器の壊れ方を切り分ける手順を整理する。
AI技術ガイド
判断の注入が害になるとき 3つの試みが再現しなかった理由
個人の判断パターンを生成に直接注入する試みを3系統試したが、いずれも再現しなかった。効いたのは前例をそのまま参照する仕組みだけだったという自社の検証を記録する。
AI技術ガイド
前例は何件から効くか 100件の境目と中途半端な履歴が生む害
前例は多いほど良いとは限らない。100件未満では個人化が文脈だけのベースラインに負けるという自社の実測をもとに、前例の件数と効き方の関係を整理する。
AI技術ガイド
判断の再現が成立する条件 選択肢集合と場面の繰り返しで決まる
判断の再現は前例を増やせばそのまま成立するわけではない。選択肢集合が観測できるかどうかで結果が正反対になった自社の実測をもとに、成立条件を整理する。
AI技術ガイド
ベクトルDBをレイテンシ要件から決める｜速さは索引パラメータと再現率の交換で決まる
「どのベクトルDBが速いか」は問いの立て方が違う。速さは再現率と交換で決まり、その交換比はパラメータで動く。公式ドキュメントで確認できた範囲で整理する。