この記事は、個人の判断パターンを前例から再現する「判断の再現」の検証結果をまとめるシリーズの1本である。前例が何件から効くかは姉妹記事「前例は何件から効くか」、この記事で扱う評価そのものの限界は姉妹記事「評価器が測定対象に盲だったとき」、抽象度の設計は姉妹記事「抽象度には山がある」に譲る。標本設計の考え方はRAGの幻覚率0%は何件で言えるかにまとめている。
この記事で分かること
- 前例をそのまま参照する仕組み(retrieval)は明確に効いたという実測
- 判断の傾向を固定重みのポリシーとして注入すると害になったという実測
- 「中間帯で+11.0pt」という結果が事前登録追試で消えたという反証
- 生成への1行注入が3反復で符号すら安定しなかったという反証
- この3つの不再現をふまえて、自社が生成への明示注入を採用しない理由
この記事で分からないこと（正直に書く）
- 注入の設計や重みを変えれば再現する可能性があるかどうか(今回試した範囲では確認できていない)
- 判断の傾向を注入する以外の方法で同じ効果を得られるかどうか
効いたのは前例をそのまま参照する仕組みだった
自社では、本人のSNS返信アーカイブを使った4択の判断課題(N=506)で、前例をどう使うかを比較した。前例を使わない条件(B1)の正答率は34.6%、相手ごとの前例をそのまま参照する条件(B2)は42.9%で、+8.3ptの改善が有意だった(p=0.00037、出所: 自社の判断再現の検証記録、確認日2026-09-06)。ここまでは前例をそのまま検索して参照する(retrieval)という、比較的単純な仕組みである。この単純な仕組みが、本稿で扱う3つの注入の試みすべてより頑健だった。
注入1: 固定重みのポリシーは害になった
次に、この前例の使い方に「判断の傾向を固定重みのポリシーとして注入する」条件(B3)を追加した。結果、v0は−4.6ptで有意に害、v1は−1.6ptで有意差なしだった(出所: 自社の判断再現の検証記録、確認日2026-09-06)。前例をそのまま参照するだけで+8.3ptの改善があったところに、判断の傾向を要約したポリシーを固定の重みで足すと、改善が消えるか、むしろ悪化した。
反証: 「中間帯で+11.0pt」は事前登録追試で消えた
自社の初期の検証では、関係性が中間的な帯で+11.0ptという改善が見られたことがあった。しかしこの結果を再現するため条件を事前に登録したうえで追試(fresh N=80)を行ったところ、liftは0.0となり、再現しなかった(出所: 自社の判断再現の検証記録、確認日2026-09-06)。最初に見えた効果が、独立した新しい標本では跡形もなく消えるという結果であり、この時点で「中間帯の効果」という説明は採用できなくなった。
反証: 生成への1行注入はABBA反復で符号すら安定しなかった
選択式の課題では効果が確認できた判断重み2本を、生成過程に1行だけ注入する条件も試した。最初の1回では+0.50の改善が見られた。しかし条件をABBAの順序で3回繰り返したところ、Δは+0.50、−0.29、+0.07となり、改善どころか符号自体が反復のたびに変わった(出所: 自社の判断再現の検証記録、確認日2026-09-06)。1回だけの結果を見て採用していれば、+0.50という数字だけが残っていた。この不再現を受けて、生成への注入をデフォルトで有効にする設計は採用していない。
3つの不再現から採用しないと決めたこと
固定重みのポリシー注入(害)、中間帯の効果(事前登録追試で消滅)、生成への1行注入(ABBA反復で符号不安定)という3系統の試みが、いずれも再現しなかった。この積み重ねをふまえて、自社では頑健と言えるのは①前例をそのまま参照する仕組み(+8.3〜+17.8pt)と②判断重みを選択式の課題に適用する仕組み(6択で+12〜15pt)の2つに限られ、生成への様式・ポリシーの明示注入は原則として採用しない、という判断をしている(出所: 自社の判断再現の検証記録、確認日2026-09-06)。1回の実験で+0.50という改善が出ても、それだけで採用を決めない理由がここにある。
なお、既知度のような数値は固定値にすると効果が消え、時間で変化させる(time-varying)扱いにすると効果が戻る(pが1.0から0.0004に反転する)という結果も出ている(出所: 自社の判断再現の検証記録、確認日2026-09-06)。同じ数値でも扱い方一つで結果が反転する例であり、注入の設計を1回の実験結果だけで固定してはいけないことを示している。
判断の傾向を注入する設計を検討している場合は、お問い合わせから編集部まで相談してほしい。
よくある質問
Q1. 判断の再現で頑健に効いた仕組みは何か
本人ごとの前例をそのまま参照する仕組み(retrieval)である。前例なしの34.6%に対し、相手ごとの前例を参照すると42.9%(+8.3pt, p=0.00037)まで改善し、この結果は他の注入の試みより頑健だった。
Q2. 判断の傾向をポリシーとして注入するとどうなるか
固定重みのポリシーとして注入した条件では、v0が−4.6ptで有意に害、v1が−1.6ptで有意差なしだった。前例をそのまま参照するだけの状態より悪化した。
Q3. 「中間帯で+11.0pt」という結果はどうなったか
事前に条件を登録したうえで新しい標本(fresh N=80)で追試したところ、liftは0.0となり再現しなかった。最初に見えた効果だった。
Q4. 生成への1行注入は採用しているか
採用していない。最初の1回は+0.50の改善だったが、ABBA順序で3回繰り返すとΔは+0.50、−0.29、+0.07と符号自体が安定せず、デフォルトで有効にする設計にはしていない。
Q5. なぜ生成への明示注入を原則採用しないのか
固定重みのポリシー注入、中間帯の効果、生成への1行注入という3系統の試みがいずれも再現しなかったためである。頑健だったのは前例のretrievalと選択式課題への判断重み適用の2つに限られる。