モデル単体の性能よりシステム全体の性能が判断を分ける
個人化やキャラクター設計の議論は「どのモデルが強いか」に寄りがちだが、比較対象をモデル単体からシステム全体に変えると評価が反転する場面があった。
12 / 72 ページ
個人化やキャラクター設計の議論は「どのモデルが強いか」に寄りがちだが、比較対象をモデル単体からシステム全体に変えると評価が反転する場面があった。
個人化の設計で省略されがちな「誰の判断を借りるか」という問い。自社の検証では、判断の種類によってこの答えが正反対になることが分かっている。
判断の記述を粗くすると個人差の再現は上がるが、粗くしすぎると未知環境への転移はむしろ悪化する。抽象度と成績の関係が単調ではないという自社の実測をまとめる。
評価器が0%を返しても、測っている対象に効果が無いとは限らない。評価器自体が測定対象に盲だったという自社の実測をもとに、計器の壊れ方を切り分ける手順を整理する。
個人の判断パターンを生成に直接注入する試みを3系統試したが、いずれも再現しなかった。効いたのは前例をそのまま参照する仕組みだけだったという自社の検証を記録する。
前例は多いほど良いとは限らない。100件未満では個人化が文脈だけのベースラインに負けるという自社の実測をもとに、前例の件数と効き方の関係を整理する。
判断の再現は前例を増やせばそのまま成立するわけではない。選択肢集合が観測できるかどうかで結果が正反対になった自社の実測をもとに、成立条件を整理する。
「どのベクトルDBが速いか」は問いの立て方が違う。速さは再現率と交換で決まり、その交換比はパラメータで動く。公式ドキュメントで確認できた範囲で整理する。
テナントごとにコレクションを分けるのが一番安全に見えて、公式ドキュメントはそれを勧めていないことが多い。分離の方式と、その代償を公式の記述から整理する。
「部署Aの文書だけから探す」という要求は、ベクトル検索では単純ではない。絞り込みが索引の効き方を変える構造を、公式ドキュメントで確認できた範囲で整理する。