AI に UI を作らせる時の指示として、2026年11月18日に次の一文が X で紹介されました(元の投稿は11月19日の時点で表示できません)。
不要なセカンダリラベルや説明を避ける。レイアウトに説明させる。
投稿はこの一文を AGENTS.md に追記すると「AI Slopかなり改善した」と述べています。AI Slop(AI が作りがちな、ありきたりで質の低い出力)の例として、サブタイトルや注釈を加えすぎた画面を挙げています。編集部は同じ一文を使い、文字数と必要な情報の残り方を数え、作り方を伏せてモデルに順位を付けさせました。
言葉は次の意味で使います。
- 指示なし・一文あり:指示なしは共通の指示ファイルだけで作った画面、一文ありはその末尾に上の一文を追記した画面です。共通の指示は日本語・1ファイルの HTML・幅1280pxと390pxで崩れない、などの5点です。
- 判定役・伏せた比較・組:判定役は画面を評価するモデルです。伏せた比較では作り方を知らせずに順位を付けさせます。「組」はモデル・画面の種類・生成の回が同じで、指示だけが違う画面のまとまりを指します。
- 基本の4画面:通知設定・売上ダッシュボード・登録フォーム・料金ページ。画面の種類と要素だけを書いた依頼文を使い、4モデルで作成しました。
- 条件つき画面・第1群:診察予約の変更・フリマの出品確認・経費の申請・写真の共有リンク。利用者に伝える条件を書いた依頼文を使い、Claude の2モデルで作成しました。必要な情報だけを測定し、伏せた比較はしていません。
- 条件つき画面・第2群:再配達の依頼・レンタカーの比較・共有フォルダの権限・プランの解約確認。同じく条件を書いた依頼文を使い、4モデルで作成しました。
- 必要な情報:依頼文に書いた条件のうち、利用者が操作の前に知らないと判断を誤る項目(金額・期限・手数料・取り消せるかどうかなど)です。
経費の申請では、一文ありの画面の初期表示から必要な条件が外れた(Claude Sonnet 5.5)
指示なし(画面の文字数 170 字)

一文あり(画面の文字数 44 字)

この経費の申請の例では、画面の文字数は170字から44字でした。領収書が必要になる金額、承認者、取り下げ・訂正、期限を過ぎた時の扱いの4項目が、一文ありの初期表示から外れています。
文字数の削減を UI の改善とは判断できませんでした。 基本の4画面では文字数は指示なしの0.68倍。32組中31組で減少しました。一方、作り方を伏せて比べると指示なしが上位でした。判定 1(3 枚目は列挙の指示)の32組では、3モデル中2モデル以上が指示なしを上位にした組が24組、一文ありを上位にした組が8組です。条件つき画面・第2群では差があるとは言えません。
- 判定役:伏せた比較は Claude Sonnet 5.5・Claude Opus 5.5・GPT-6 Astra の3モデルの多数決。必要な情報は Claude Sonnet 5.5・Claude Opus 5.5 の2モデルが個別に判定しました。
- 作り手:Claude Sonnet 5.5・Claude Opus 5.5(Claude Code)、GPT-6 Astra(Codex CLI)、GLM-5.3-Flash の4モデルです。
- 規模:12種類の依頼文で416画面を作りました。Claude Code では CLAUDE.md、Codex CLI では AGENTS.md に追記しています。これらはプロジェクトに置き、毎回の依頼の前提としてモデルに読ませる指示ファイルです。
- 測り方:画面は生成の1回目・2回目を用意しました。判定の対象範囲は図ごとに示します。差の有無は符号検定(同じ組で、どちらが上位かなどの件数の偏りを見る検定)で判断しました。
実測表:文字数は減っても、伏せた比較で指示なしより上位だった指示はなかった
画面の群は冒頭で定義した3つです。
実測表:伏せた比較で指示なしより上位だった指示はなかった
| 条件 | 文字数 | 伏せた比較 基本の4画面 | 伏せた比較 条件つき画面・第2群 | 必要な情報 条件つき画面・第1群 | 必要な情報 条件つき画面・第2群 |
|---|---|---|---|---|---|
| 指示なし | 1(基準) | — | — | 65/68・65/68 | 134/144・135/144 |
| 一文あり | 0.68 倍 | 24・8 | 14・18 | 55/68・54/68 | 130/144・126/144 |
| 列挙の指示 | 0.51 倍 | 25・7 | 未測定 | 50/68・49/68 | 未測定 |
| 判断基準の指示 | 0.62 倍 | 未測定 | 未測定 | 49/68・50/68 | 未測定 |
| 言い換え限定の指示 | 1.77 倍 | 22・10 | 13・19 | 未測定 | 144/144・143/144 |
「列挙の指示」は足さない文と残す文を列挙したもの、「判断基準の指示」は読まないと判断を誤る文を残すと指定したものです。「言い換え限定の指示」は言い換えの文だけを削り、条件は操作の前に見せると指定しました。全文は「測定の条件」に掲載しています。
モデル別の文字数の倍率は0.54〜0.82倍だった
一文ありの文字数は、指示なしの 0.68 倍だった
投稿が述べた、説明が多い画面になる傾向は編集部の測定でも確認できました。判定役が「無くても困らない文」として抜き出した文は、指示なしの画面で平均5.0個、一文ありの画面で平均2.1個です。見出しの下の「ここでは〜を設定できます」や、選んだ値を読み上げるだけの文が含まれました。
GPT-6 Astra(Codex CLI)の倍率の中央値は4モデルの中で最も1に近い値でした。GPT-6 Astra の文字数は指示なしとの差があるとは言えません。モデル間の差も検定していません。どの指示で作った画面でも、入力欄のラベルが消えた例はありませんでした。
基本の4画面では、指示なしの画面が上位だった
指示なしの優位は、比較に加える指示を替えても続いた
- 3 モデルとも指示なしが上位
- 2 モデルが指示なしを上位にした
- 1 モデルが指示なしを上位にした
- 3 モデルとも一文ありが上位
判定 1 と判定 2 は同じ指示なし・一文ありの画面を使い、比較に加える3枚目だけを替えています。判定 1 は合算では指示なしが上位でしたが、生成の回ごとでは差があるとは言えません。判定 2 は生成の各回でも指示なしが上位でした。列挙の指示との比較は、合算と生成の1回目で指示なしが上位でしたが、生成の2回目では差があるとは言えません。
判定役が書き出した「無くて困る文やラベル」は、指示なしの画面で平均1.9個、一文ありの画面で平均3.5個でした。5点満点の採点では、分かりやすさが指示なし4.56点・一文あり3.89点、製品として出せる水準が指示なし3.98点・一文あり3.52点です。いずれも判定 1 の平均で、この点数差を検定した結果ではありません。
Claude Sonnet 5.5 が作った画面では、判定 1・判定 2 ともに8組すべてで多数決が指示なしを上位にしました。GPT-6 Astra が作った画面では、判定 1・判定 2 とも差があるとは言えません。作り手の違いと判定役の違いは分けて読む必要があります。
条件つき画面・第2群の伏せた比較では差があるとは言えない
条件つき画面・第2群では、一文の有無で差があるとは言えない
- 3 モデルとも指示なしが上位
- 2 モデルが指示なしを上位にした
- 1 モデルが指示なしを上位にした
- 3 モデルとも一文ありが上位
基本の4画面の依頼文には画面の種類と要素だけを書きました。利用者に伝える条件を指定すると結果が変わる可能性があるため、条件つき画面・第2群でも比較しています。条件を明示した依頼文でも、一文ありの優位は確認できませんでした。生成の各回でも差があるとは言えません。
必要な情報の変化は、指示と画面の群で異なる
判断基準の指示では、初期表示で見える必要な情報が指示なしより少なかった
条件つき画面・第1群を、判定役 Claude Sonnet 5.5・Claude Opus 5.5 が確認しました。冒頭の経費の申請は、必要な情報が初期表示から最も多く外れた例の1つです。判定役 Claude Sonnet 5.5 が初期表示で見えるとした項目は、68項目中、指示なし65・一文あり55でした(画面ごとの検定では差があるとは言えない)。
一文ありで「操作の後に出る」とされた項目は12、「どこにも無い」は1です(指示なしは3と0)。初期表示から外れた条件の多くは、入力や申請の後に表示される作りになっていました。両判定役とも、一文ありと列挙の指示では差があるとは言えません。判断基準の指示は合算では指示なしより少なかったものの、両判定役とも生成の回ごとでは差があるとは言えません。
条件つき画面・第2群の必要な情報は、一文の有無で差があるとは言えない
条件つき画面・第2群では一文ありと言い換え限定の指示のいずれも、初期表示で見える必要な情報に指示なしとの差があるとは言えません。
基本の4画面では、言い換え限定の指示で文字数が増えた
言い回しを変えた指示にも、伏せた比較での優位は確認できなかった
- 3 モデルとも指示なしが上位
- 2 モデルが指示なしを上位にした
- 1 モデルが指示なしを上位にした
- 3 モデルとも比較した指示が上位
基本の4画面で、列挙の指示と判断基準の指示の文字数は指示なしより少なくなりました(0.51倍と0.62倍)。一方、言い換え限定の指示では指示なしの1.77倍に増えました。条件つき画面・第2群の言い換え限定の指示は1.06倍で、文字数に差があるとは言えません。
条件つき画面の必要な情報と合わせて読むと、3通りの指示で文字数の削減と必要な情報の維持を両立できたとは言えません。言い回しを直せば問題が解決する、と判断できる結果ではありませんでした。
言い換えを足した画面は、3モデルの多数決で全組とも元の画面より下位だった
判定の偏りを調べる比較では、元の画面が上位だった
- 3 モデルとも元の画面が上位
- 2 モデルが元の画面を上位にした
- 1 モデルが元の画面を上位にした
- 0 モデルが元の画面を上位にした
文字数の多い画面ほど高く評価する判定役なら、ここまでの結果にも影響します。そこで編集部は指示なしの画面に見出しの言い換えを機械的に追加した「言い換えを足した画面」と、説明を削除した「説明の文を消した画面」を用意しました。この「判定の偏りを調べる比較」では、生成の各回でも元の画面が上位でした。文字数だけで順位を付けていたとは考えにくい、と編集部は考えています(推定)。
判定 1 で指示なしの優位が確認できた判定役は Claude Opus 5.5 だけだった
| 比較(左対右) | Claude Sonnet 5.5 | Claude Opus 5.5 | GPT-6 Astra |
|---|---|---|---|
| 基本の4画面・判定 1:指示なし対一文あり | 32 組中 21 組 p = 0.110 差があるとは言えない | 32 組中 27 組 p は 0.001 未満 左が上位だった | 32 組中 20 組 p = 0.215 差があるとは言えない |
| 基本の4画面・判定 1:指示なし対列挙の指示 | 32 組中 22 組 p = 0.050 差があるとは言えない | 32 組中 27 組 p は 0.001 未満 左が上位だった | 32 組中 22 組 p = 0.050 差があるとは言えない |
| 基本の4画面・判定 2:指示なし対一文あり | 32 組中 25 組 p = 0.002 左が上位だった | 32 組中 28 組 p は 0.001 未満 左が上位だった | 32 組中 27 組 p は 0.001 未満 左が上位だった |
| 基本の4画面・判定 2:指示なし対言い換え限定の指示 | 32 組中 20 組 p = 0.215 差があるとは言えない | 32 組中 21 組 p = 0.110 差があるとは言えない | 32 組中 25 組 p = 0.002 左が上位だった |
| 条件つき画面・第2群:指示なし対一文あり | 32 組中 14 組 p = 0.597 差があるとは言えない | 32 組中 19 組 p = 0.377 差があるとは言えない | 32 組中 13 組 p = 0.377 差があるとは言えない |
| 条件つき画面・第2群:指示なし対言い換え限定の指示 | 32 組中 13 組 p = 0.377 差があるとは言えない | 32 組中 14 組 p = 0.597 差があるとは言えない | 32 組中 16 組 p = 1.000 差があるとは言えない |
| 元の画面対言い換えを足した画面 | 32 組中 32 組 p は 0.001 未満 左が上位だった | 32 組中 32 組 p は 0.001 未満 左が上位だった | 32 組中 32 組 p は 0.001 未満 左が上位だった |
| 元の画面対説明の文を消した画面 | 32 組中 28 組 p は 0.001 未満 左が上位だった | 32 組中 32 組 p は 0.001 未満 左が上位だった | 32 組中 32 組 p は 0.001 未満 左が上位だった |
判定役を個別に見ると、結論はそろっていません。GPT-6 Astra 単独の判定 1 では、指示なしを上位にした組は32組中20組で、差があるとは言えません(p = 0.215)。判定 2 は32組中27組で、指示なしが上位でした(p は 0.001 未満)。3モデルの多数決の結論を、すべての判定役に共通する結論とは扱えません。
見直しの前後で、必要な情報の項目数に差があるとは言えない
見直した画面と指示なしの画面は、伏せた比較で差があるとは言えない
| 測定項目 | 結果 |
|---|---|
| 文字数(生成の1回目・2回目) | 指示なしの 0.95 倍(中央値)。64 画面中 46 画面で減少、18 画面は初期表示の文が変わらなかった |
| 必要な情報(生成の1回目・2回目) | 判定役 Claude Sonnet 5.5:指示なし 134/144・見直した画面 135/144(p = 1.000)。差があるとは言えない、判定役 Claude Opus 5.5:指示なし 135/144・見直した画面 135/144(検定できない(差のある組が 0))。差があるとは言えない |
| 伏せた比較(3 モデルの多数決) | 指示なしを上位にした組が 27 組、見直した画面を上位にした組が 37 組(64 組、p = 0.260) |
| 初期表示の文が変わった画面(3 モデルの多数決) | 46 組中、指示なしを上位にした組が 20 組、見直した画面を上位にした組が 26 組(p = 0.461) |
| 初期表示の文が変わった画面(判定役別) | Claude Sonnet 5.5:46 組中 33 組で見直した画面を上位にした、Claude Opus 5.5:46 組中 25 組で見直した画面を上位にした、GPT-6 Astra:46 組中 28 組で見直した画面を上位にした |
| 初期表示の文が変わらなかった画面(3 モデルの多数決) | 18 組中、指示なしを上位にした組が 7 組、見直した画面を上位にした組が 11 組(p = 0.481) |
| 初期表示の文が変わらなかった画面(判定役別) | Claude Sonnet 5.5:18 組中 13 組で見直した画面を上位にした、Claude Opus 5.5:18 組中 5 組で見直した画面を上位にした、GPT-6 Astra:18 組中 10 組で見直した画面を上位にした |
画面を作る前に削減を指示する方法に加え、出来上がった画面を同じモデルに見せ、削除する文を具体的に指定する方法も測定しました。必要な情報は条件つき画面・第2群で確認しました。
生成の1回目・2回目を合わせた初期表示の項目数は、判定役 Claude Sonnet 5.5 では144項目中、指示なし134・見直した画面135でした。画面ごとの検定では差があるとは言えません。Claude Opus 5.5 では144項目中、指示なし135・見直した画面135でした。全32組で項目数が同じで、検定の対象となる差がありませんでした。
文字数は指示なしの0.95倍で、削減幅は小さい結果です。伏せた比較の64組では、指示なしを上位にした組が27組、見直した画面を上位にした組が37組で、差があるとは言えません(p = 0.260)。初期表示の文が変わった画面の46組でも差があるとは言えません(p = 0.461)。
初期表示の文が変わらなかった画面の18組でも差があるとは言えません(p = 0.481)。内容が同じ画面にも順位が付くため、この結果だけで改善を判断することはできません。
生成の回によって多数決の向きが逆になる比較もありました。条件つき画面・第2群の一文あり対言い換え限定の指示、見直しの段の指示なし対一文あり、一文あり対見直した画面が該当します。いずれも各回・合算とも差があるとは言えません。回別の件数と検定は「測定の条件」にまとめました。
指示ファイルに追記する前に確認すること
画面の文字数を減らす指示を加えたい
- 確認すること:自社の画面2〜3種類を、指示ありと指示なしでそれぞれ作り、依頼文に書いた条件・期限・金額が初期表示で見えるかを数える
- 根拠:基本の4画面の文字数は0.68倍だったが、伏せた比較で指示なしより上位だった指示はなかった。条件つき画面・第1群の初期表示で見える項目数は、指示なしの65から一文ありの55だった(画面ごとの検定では差があるとは言えない)
Codex CLI(GPT-6 Astra)で使う
- 確認すること:文字数への影響が小さい場合でも、条件の表示位置が変わっていないかを、自社の画面で確認する
- 根拠:文字数は0.82倍だった。文字数と伏せた比較のいずれも、差があるとは言えない
出来上がった画面の文字数を減らしたい
- 候補:画面を見せて、見出し・操作・設定値を言い換えただけの文だけを削除するよう頼む
- 根拠:生成の1回目・2回目を合わせた必要な情報の項目数は、見直しの前後で差があるとは言えない。文字数は0.95倍
- 向かない場面:文字数を大きく減らしたい時。64画面中18画面は初期表示の文が変わらなかった
測っていない対象と理由
- 見た目だけの好み:文字数の削減と必要な情報を優先したため、配色や余白の印象は単独では測定していません。製品としての水準を問う採点に含まれるだけです。
- 実際の製品の開発:指示の影響を比較するため、1つの依頼文から1つの画面を作りました。既存製品の改修や、何度もやり取りして仕上げる作業は対象外です。
- 英語の画面と英語の指示:日本語の一文の影響に範囲を絞ったため、画面の文も指示も日本語です。
- ほかのモデル:測定範囲を4モデルに限定したため、Gemini などは測定していません。
- 詳しいデザイン方針を渡した場合の順位:指示による文字数の変化を先に確認したため、実在の製品のデザイン方針と参照画像を渡した条件は文字数だけを測定しました(一文ありは指示なしの0.47倍。8組中8組で減少)。伏せた比較はしていません。
測定の条件
モデルとツールのバージョン、指示の全文、依頼文、判定と検定の方法は次の欄にまとめています。
測定の条件の詳細を開く
モデルとツール
GLM-5.3-Flash は 98 回中 16 回、HTML を出力せずに終了した
| モデル | 使ったツールとバージョン | モデルの指定 | 画面ができた回数 |
|---|---|---|---|
| Claude Sonnet 5.5 | Claude Code 2.1.326 | claude-sonnet-5-5 | 130 回中 130 回 |
| Claude Opus 5.5 | Claude Code 2.1.326 | claude-opus-5-5 | 130 回中 130 回 |
| GPT-6 Astra | Codex CLI 0.166.0 | gpt-6-astra(推論の設定 medium) | 83 回中 83 回 |
| GLM-5.3-Flash | DeepSeek Harness 0.2.1-rc.2 | GLM-5.3-Flash(社内のサーバー) | 98 回中 82 回 |
測定日は2026年11月18日と19日です。Claude Code は利用者の設定と記憶を読み込まない設定(--setting-sources project)で起動しました。Codex CLI は推論の設定(reasoning effort)を medium にしています。GLM-5.3-Flash は編集部が利用している社内のサーバーで動かしました。この環境は外部で同じように再現できません。GLM-5.3-Flash は出力の上限を32,768トークンにしました(既定は8,192)。温度(出力のばらつきを決める設定)など、ほかの生成の設定は各ツールの既定値です。
GLM-5.3-Flash の実行には DeepSeek Harness を使いました。DeepSeek が公開しているエージェントの実行環境で、MIT ライセンスです。
指示の文面
比べた 5 つの条件
| 条件 | 追記した文 |
|---|---|
| 指示なし | (共通の指示だけ) |
| 一文あり | - 不要なセカンダリラベルや説明を避ける。レイアウトに説明させる。 |
| 列挙の指示 | - 画面に補足の文を足す前に、配置・大きさ・余白・並び順で伝えられないかを先に考える。伝えられるなら文を足さない。 - 足さない物: 見出しの下のサブタイトル、カッコ書きの注釈、節の上の小さなラベル、カードや項目ごとの説明文、ボタンや入力欄の下の補足、数字の横の言い換え。 - 残す物: 入力欄の見えるラベル、ボタンの名前(アイコンだけにしない)、エラーと確認の文、空の状態の案内、取り消せない操作の説明。 |
| 判断基準の指示 | - 画面に補足の文を足す前に、配置・大きさ・余白・並び順で伝えられないかを先に考える。伝えられるなら文を足さない。 - 足さない物: 見出しの下のサブタイトル、見出しや操作の言い換え、節の上の小さなラベル、カードや項目ごとの説明文、操作の仕方の説明、カッコ書きの注釈。 - 残す物: 読まないと利用者が判断や操作を誤る文。入力欄の見えるラベルと必須の印、ボタンの名前(アイコンだけにしない)、金額の条件(税込か税抜か・単位・請求の周期)、数字の定義と期間、同意や規約への案内、保存・送信・エラーの状態、空の状態の案内、取り消せない操作の結果。 - 迷ったら「この文を消すと、利用者は何を誤るか」で決める。答えが無ければ消す。 |
| 言い換え限定の指示 | - 見出し・操作・設定値を言い換えただけの文は書かない。当たる型: 見出しの下の「ここでは〜を設定できます」、選んだ値の読み上げ、宣伝の一言、節の上の小さな英字や区分のラベル。 - 条件・期限・金額・上限・取り消せるかどうか・誰に見えるか・押した後に起きることは、操作の前に見える所へ書く。エラーが出てから初めて知らせる作りにしない。 - 削るのは 1 行目の型だけにする。それ以外の文は、量を減らす対象にしない。 |
作業フォルダには指示ファイルのほかに、色・書体・余白の値だけを書いた最小のデザイン方針(DESIGN.md)を置きました。再現資料(JSON) に、共通の指示と5条件の差分、最小のデザイン方針、12種類の依頼文、伏せた比較と必要な情報の判定の問い、見直しの依頼文、各画面の確認項目の全文を収録しています。
依頼文
基本の4画面は画面の種類と要素だけを書いた依頼文です。通知設定の依頼文を示します。
チームで使うタスク管理アプリの、通知設定の画面を作ってください。メール・アプリ内・Slack の 3 つの通知先があり、通知の種類(担当になった・期限が近い・コメントが付いた・週のまとめ)ごとに入・切を選べます。通知を止める時間帯も決められます。
条件つき画面・第1群と条件つき画面・第2群は、利用者に伝える条件を依頼文に書きました。経費の申請の依頼文を示します。
社内の経費精算の申請画面。出張交通費を入力して申請する。1件3万円を超える場合は領収書の画像添付が必須。申請期限は発生月の翌月5日で、期限後は精算できない。承認者は所属部長で、承認前なら取り下げ可能、承認後は経理にのみ訂正を依頼できる。金額と日付、訪問先を入力し、領収書の画像を添付する欄と申請ボタンを置く。この画面を作ってください。
文字数の数え方
生成した HTML を Chromium(Playwright 1.48.0)で幅1280pxで開き、初期表示で見える文字を空白を除いて数えました。文字数は見出し・操作(ボタンや入力欄のラベル)・説明・表やグラフに分けています。「説明の文」は小さい文字や薄い色で書いた補足のうち、かなと漢字が8字以上のものと、句点のある本文です。
説明の文の比は比較する画面の字数を指示なしの字数で割り、補正は加えていません。指示なしの説明の文が0字の組は比から除きます(基本の4画面の一文ありでは該当0組)。
画面内の日付・時刻によって計測時の数字の字数が変わるため、後に取り直した記録と集計に使った文字数には、基本の4画面の160行中4行で最大6字の違いがありました(中央値は変わりません)。見直しで文が変わったかは、初期表示で見える文から数字を除いて比較しました。HTML が変わっても見える文が同じ画面は「初期表示の文が変わらなかった画面」に入ります。
生成の回ごとの値
基本の4画面の判定 1 は、合算でだけ指示なしが一文ありより上位だった
| 比較・測定項目 | 生成の1回目 | 生成の2回目 | 合算 |
|---|---|---|---|
| 伏せた比較:基本の4画面・判定 1 指示なし 対 一文あり | 12 対 4(16 組) p = 0.077 差があるとは言えない | 12 対 4(16 組) p = 0.077 差があるとは言えない | 24 対 8(32 組) p = 0.007 指示なしが上位だった |
| 伏せた比較:基本の4画面・判定 1 指示なし 対 列挙の指示 | 13 対 3(16 組) p = 0.021 指示なしが上位だった | 12 対 4(16 組) p = 0.077 差があるとは言えない | 25 対 7(32 組) p = 0.002 指示なしが上位だった |
| 伏せた比較:基本の4画面・判定 1 一文あり 対 列挙の指示 | 10 対 6(16 組) p = 0.454 差があるとは言えない | 10 対 6(16 組) p = 0.454 差があるとは言えない | 20 対 12(32 組) p = 0.215 差があるとは言えない |
| 伏せた比較:基本の4画面・判定 2 指示なし 対 一文あり | 13 対 3(16 組) p = 0.021 指示なしが上位だった | 15 対 1(16 組) p は 0.001 未満 指示なしが上位だった | 28 対 4(32 組) p は 0.001 未満 指示なしが上位だった |
| 伏せた比較:基本の4画面・判定 2 指示なし 対 言い換え限定の指示 | 12 対 4(16 組) p = 0.077 差があるとは言えない | 10 対 6(16 組) p = 0.454 差があるとは言えない | 22 対 10(32 組) p = 0.050 差があるとは言えない |
| 伏せた比較:基本の4画面・判定 2 一文あり 対 言い換え限定の指示 | 6 対 10(16 組) p = 0.454 差があるとは言えない | 4 対 12(16 組) p = 0.077 差があるとは言えない | 10 対 22(32 組) p = 0.050 差があるとは言えない |
| 伏せた比較:条件つき画面・第2群 指示なし 対 一文あり | 8 対 8(16 組) p = 1.000 差があるとは言えない | 6 対 10(16 組) p = 0.454 差があるとは言えない | 14 対 18(32 組) p = 0.597 差があるとは言えない |
| 伏せた比較:条件つき画面・第2群 指示なし 対 言い換え限定の指示 | 6 対 10(16 組) p = 0.454 差があるとは言えない | 7 対 9(16 組) p = 0.804 差があるとは言えない | 13 対 19(32 組) p = 0.377 差があるとは言えない |
| 伏せた比較:条件つき画面・第2群 一文あり 対 言い換え限定の指示 | 6 対 10(16 組) p = 0.454 差があるとは言えない | 9 対 7(16 組) p = 0.804 差があるとは言えない | 15 対 17(32 組) p = 0.860 差があるとは言えない |
| 伏せた比較:判定の偏りを調べる比較 説明の文を消した画面 対 元の画面 | 0 対 16(16 組) p は 0.001 未満 元の画面が上位だった | 0 対 16(16 組) p は 0.001 未満 元の画面が上位だった | 0 対 32(32 組) p は 0.001 未満 元の画面が上位だった |
| 伏せた比較:判定の偏りを調べる比較 説明の文を消した画面 対 言い換えを足した画面 | 11 対 5(16 組) p = 0.210 差があるとは言えない | 13 対 3(16 組) p = 0.021 説明の文を消した画面が上位だった | 24 対 8(32 組) p = 0.007 説明の文を消した画面が上位だった |
| 伏せた比較:判定の偏りを調べる比較 元の画面 対 言い換えを足した画面 | 16 対 0(16 組) p は 0.001 未満 元の画面が上位だった | 16 対 0(16 組) p は 0.001 未満 元の画面が上位だった | 32 対 0(32 組) p は 0.001 未満 元の画面が上位だった |
| 伏せた比較:見直しの段 指示なし 対 一文あり | 18 対 14(32 組) p = 0.597 差があるとは言えない | 14 対 18(32 組) p = 0.597 差があるとは言えない | 32 対 32(64 組) p = 1.000 差があるとは言えない |
| 伏せた比較:見直しの段 指示なし 対 見直した画面 | 11 対 21(32 組) p = 0.110 差があるとは言えない | 16 対 16(32 組) p = 1.000 差があるとは言えない | 27 対 37(64 組) p = 0.260 差があるとは言えない |
| 伏せた比較:見直しの段 一文あり 対 見直した画面 | 12 対 20(32 組) p = 0.215 差があるとは言えない | 17 対 15(32 組) p = 0.860 差があるとは言えない | 29 対 35(64 組) p = 0.532 差があるとは言えない |
| 文字数:基本の4画面 一文あり 対 指示なし | 0.68 倍(16 組) 減少 16・増加 0・同数 0 p は 0.001 未満 指示なしより少なかった | 0.68 倍(16 組) 減少 15・増加 1・同数 0 p は 0.001 未満 指示なしより少なかった | 0.68 倍(32 組) 減少 31・増加 1・同数 0 p は 0.001 未満 指示なしより少なかった |
| 文字数:基本の4画面 列挙の指示 対 指示なし | 0.50 倍(16 組) 減少 16・増加 0・同数 0 p は 0.001 未満 指示なしより少なかった | 0.53 倍(16 組) 減少 15・増加 1・同数 0 p は 0.001 未満 指示なしより少なかった | 0.51 倍(32 組) 減少 31・増加 1・同数 0 p は 0.001 未満 指示なしより少なかった |
| 文字数:基本の4画面 判断基準の指示 対 指示なし | 0.62 倍(16 組) 減少 14・増加 2・同数 0 p = 0.004 指示なしより少なかった | 0.64 倍(16 組) 減少 16・増加 0・同数 0 p は 0.001 未満 指示なしより少なかった | 0.62 倍(32 組) 減少 30・増加 2・同数 0 p は 0.001 未満 指示なしより少なかった |
| 文字数:基本の4画面 言い換え限定の指示 対 指示なし | 1.77 倍(16 組) 減少 1・増加 14・同数 1 p は 0.001 未満 指示なしより多かった | 1.69 倍(16 組) 減少 0・増加 16・同数 0 p は 0.001 未満 指示なしより多かった | 1.77 倍(32 組) 減少 1・増加 30・同数 1 p は 0.001 未満 指示なしより多かった |
| 文字数:条件つき画面・第2群 一文あり 対 指示なし | 0.67 倍(16 組) 減少 14・増加 2・同数 0 p = 0.004 指示なしより少なかった | 0.70 倍(16 組) 減少 14・増加 2・同数 0 p = 0.004 指示なしより少なかった | 0.68 倍(32 組) 減少 28・増加 4・同数 0 p は 0.001 未満 指示なしより少なかった |
| 文字数:条件つき画面・第2群 言い換え限定の指示 対 指示なし | 1.14 倍(16 組) 減少 6・増加 10・同数 0 p = 0.454 差があるとは言えない | 1.04 倍(16 組) 減少 6・増加 10・同数 0 p = 0.454 差があるとは言えない | 1.06 倍(32 組) 減少 12・増加 20・同数 0 p = 0.215 差があるとは言えない |
| 必要な情報:条件つき画面・第1群・Claude Sonnet 5.5 指示なし 対 一文あり | 33/34 対 27/34 項目 少ない 4・多い 0・同数 4 画面 p = 0.125 差があるとは言えない | 32/34 対 28/34 項目 少ない 2・多い 1・同数 5 画面 p = 1.000 差があるとは言えない | 65/68 対 55/68 項目 少ない 6・多い 1・同数 9 画面 p = 0.125 差があるとは言えない |
| 必要な情報:条件つき画面・第1群・Claude Sonnet 5.5 指示なし 対 列挙の指示 | 33/34 対 25/34 項目 少ない 3・多い 0・同数 5 画面 p = 0.250 差があるとは言えない | 32/34 対 25/34 項目 少ない 3・多い 1・同数 4 画面 p = 0.625 差があるとは言えない | 65/68 対 50/68 項目 少ない 6・多い 1・同数 9 画面 p = 0.125 差があるとは言えない |
| 必要な情報:条件つき画面・第1群・Claude Sonnet 5.5 指示なし 対 判断基準の指示 | 33/34 対 23/34 項目 少ない 4・多い 0・同数 4 画面 p = 0.125 差があるとは言えない | 32/34 対 26/34 項目 少ない 3・多い 0・同数 5 画面 p = 0.250 差があるとは言えない | 65/68 対 49/68 項目 少ない 7・多い 0・同数 9 画面 p = 0.016 指示なしより少なかった |
| 必要な情報:条件つき画面・第1群・Claude Opus 5.5 指示なし 対 一文あり | 33/34 対 26/34 項目 少ない 4・多い 0・同数 4 画面 p = 0.125 差があるとは言えない | 32/34 対 28/34 項目 少ない 2・多い 1・同数 5 画面 p = 1.000 差があるとは言えない | 65/68 対 54/68 項目 少ない 6・多い 1・同数 9 画面 p = 0.125 差があるとは言えない |
| 必要な情報:条件つき画面・第1群・Claude Opus 5.5 指示なし 対 列挙の指示 | 33/34 対 24/34 項目 少ない 4・多い 0・同数 4 画面 p = 0.125 差があるとは言えない | 32/34 対 25/34 項目 少ない 3・多い 1・同数 4 画面 p = 0.625 差があるとは言えない | 65/68 対 49/68 項目 少ない 7・多い 1・同数 8 画面 p = 0.070 差があるとは言えない |
| 必要な情報:条件つき画面・第1群・Claude Opus 5.5 指示なし 対 判断基準の指示 | 33/34 対 24/34 項目 少ない 3・多い 0・同数 5 画面 p = 0.250 差があるとは言えない | 32/34 対 26/34 項目 少ない 3・多い 0・同数 5 画面 p = 0.250 差があるとは言えない | 65/68 対 50/68 項目 少ない 6・多い 0・同数 10 画面 p = 0.031 指示なしより少なかった |
| 必要な情報:条件つき画面・第2群・Claude Sonnet 5.5 指示なし 対 一文あり | 66/72 対 65/72 項目 少ない 2・多い 1・同数 13 画面 p = 1.000 差があるとは言えない | 68/72 対 65/72 項目 少ない 2・多い 2・同数 12 画面 p = 1.000 差があるとは言えない | 134/144 対 130/144 項目 少ない 4・多い 3・同数 25 画面 p = 1.000 差があるとは言えない |
| 必要な情報:条件つき画面・第2群・Claude Sonnet 5.5 指示なし 対 言い換え限定の指示 | 66/72 対 72/72 項目 少ない 0・多い 2・同数 14 画面 p = 0.500 差があるとは言えない | 68/72 対 72/72 項目 少ない 0・多い 3・同数 13 画面 p = 0.250 差があるとは言えない | 134/144 対 144/144 項目 少ない 0・多い 5・同数 27 画面 p = 0.063 差があるとは言えない |
| 必要な情報:条件つき画面・第2群・Claude Opus 5.5 指示なし 対 一文あり | 66/72 対 62/72 項目 少ない 4・多い 1・同数 11 画面 p = 0.375 差があるとは言えない | 69/72 対 64/72 項目 少ない 2・多い 1・同数 13 画面 p = 1.000 差があるとは言えない | 135/144 対 126/144 項目 少ない 6・多い 2・同数 24 画面 p = 0.289 差があるとは言えない |
| 必要な情報:条件つき画面・第2群・Claude Opus 5.5 指示なし 対 言い換え限定の指示 | 66/72 対 71/72 項目 少ない 1・多い 2・同数 13 画面 p = 1.000 差があるとは言えない | 69/72 対 72/72 項目 少ない 0・多い 2・同数 14 画面 p = 0.500 差があるとは言えない | 135/144 対 143/144 項目 少ない 1・多い 4・同数 27 画面 p = 0.375 差があるとは言えない |
| 必要な情報:見直しの段・Claude Sonnet 5.5 指示なし 対 一文あり | 66/72 対 64/72 項目 少ない 3・多い 1・同数 12 画面 p = 0.625 差があるとは言えない | 68/72 対 65/72 項目 少ない 2・多い 2・同数 12 画面 p = 1.000 差があるとは言えない | 134/144 対 129/144 項目 少ない 5・多い 3・同数 24 画面 p = 0.727 差があるとは言えない |
| 必要な情報:見直しの段・Claude Sonnet 5.5 指示なし 対 見直した画面 | 66/72 対 66/72 項目 少ない 0・多い 0・同数 16 画面 検定できない(差のある組が 0) 差があるとは言えない | 68/72 対 69/72 項目 少ない 0・多い 1・同数 15 画面 p = 1.000 差があるとは言えない | 134/144 対 135/144 項目 少ない 0・多い 1・同数 31 画面 p = 1.000 差があるとは言えない |
| 必要な情報:見直しの段・Claude Opus 5.5 指示なし 対 一文あり | 66/72 対 63/72 項目 少ない 4・多い 1・同数 11 画面 p = 0.375 差があるとは言えない | 69/72 対 64/72 項目 少ない 2・多い 1・同数 13 画面 p = 1.000 差があるとは言えない | 135/144 対 127/144 項目 少ない 6・多い 2・同数 24 画面 p = 0.289 差があるとは言えない |
| 必要な情報:見直しの段・Claude Opus 5.5 指示なし 対 見直した画面 | 66/72 対 66/72 項目 少ない 0・多い 0・同数 16 画面 検定できない(差のある組が 0) 差があるとは言えない | 69/72 対 69/72 項目 少ない 0・多い 0・同数 16 画面 検定できない(差のある組が 0) 差があるとは言えない | 135/144 対 135/144 項目 少ない 0・多い 0・同数 32 画面 検定できない(差のある組が 0) 差があるとは言えない |
伏せた比較
同じ組の3枚のスクリーンショット(幅1280px)を、X・Y・Z の名前にして順番を入れ替え、判定役に渡しました。判定役には画面の依頼内容と次の項目を渡しています。基本の4画面の依頼内容は要約した文です。問いの全文と要約文は再現資料に収録しています。
- 文を読み込まなくても、何の画面で、どこを操作すると何が起きるかが分かるか(1〜5)
- 無くても困らない文(読まれない補足・言い換え・注釈・飾りの小さなラベル)を、画面の文のまま抜き出す(最大8個)
- 無くて困る文やラベル(何の欄か分からない・押すと何が起きるか分からない・数字の意味が分からない)を書く
- 実在の製品の画面として出せる水準か(1〜5)
- 3枚の順位
各比較は、3モデル中2モデル以上が上位にした画面を、その組の多数決の結果としました。同数はありません。判定 1(3 枚目は列挙の指示)と判定 2(3 枚目は言い換え限定の指示)は、画面を生成した回とは別の区分です。
基本の4画面は生成の1回目・2回目の計32組、条件つき画面・第2群も生成の1回目・2回目の計32組を集計しました。判定の偏りを調べる比較の多数決は生成の1回目・2回目の計32組、見直しの段の多数決は生成の1回目・2回目の計64組です。いずれも3モデルが全組を判定しました。見直しの必要な情報も生成の1回目・2回目を2モデルで判定し、文字数には生成の1回目・2回目の64画面を使いました。
Claude の2モデルの見直しの一部は、利用上限で止まったため同じ条件で作り直しました。
伏せた比較は、3 モデルの多数決を組ごとに数えて検定した
| 比較 | 組数 | 左が上位・右が上位 | 検定 | 結論 |
|---|---|---|---|---|
| 基本の4画面・判定 1:指示なしと一文あり | 32 組 | 24・8 | p = 0.007 | 指示なしが上位だった |
| 基本の4画面・判定 1:指示なしと列挙の指示 | 32 組 | 25・7 | p = 0.002 | 指示なしが上位だった |
| 基本の4画面・判定 2:指示なしと一文あり | 32 組 | 28・4 | p は 0.001 未満 | 指示なしが上位だった |
| 基本の4画面・判定 2:指示なしと言い換え限定の指示 | 32 組 | 22・10 | p = 0.050 | 差があるとは言えない |
| 条件つき画面・第2群:指示なしと一文あり | 32 組 | 14・18 | p = 0.597 | 差があるとは言えない |
| 条件つき画面・第2群:指示なしと言い換え限定の指示 | 32 組 | 13・19 | p = 0.377 | 差があるとは言えない |
| 基本の4画面と条件つき画面・第2群:指示なしと見直した画面 | 64 組 | 27・37 | p = 0.260 | 差があるとは言えない |
必要な情報の判定
判定役は Claude Sonnet 5.5・Claude Opus 5.5 です。画面ごとに依頼文に書いた条件から4〜5項目を選びました(例:経費の申請では「3万円超は領収書の添付が必須と分かる」「申請期限は翌月5日で、過ぎると精算できないと分かる」「承認者は所属部長と分かる」「承認前は取り下げ可、承認後は経理に訂正依頼と分かる」)。初期表示の文と HTML を渡し、各項目を「初期表示で見える」「操作の後に出る」「どこにも無い」に分類させました。言い換えや、具体的な日付・金額への計算し直しは、同じ内容が伝われば「初期表示で見える」に数えます。
必要な情報が見えないとした判定には、誤りもあった
| 判定役の判定 | 抽出した数 | 照合の結果 |
|---|---|---|
| 初期表示で見える | 12 項目 | 12 項目が正しい |
| 操作の後に出る・どこにも無い | 21 項目 | 誤り 4 項目。厳しすぎる判定 3 項目(期限は見えるが、過ぎた時の扱いだけが見えないもの) |
編集部の作業
依頼文と項目の作成、測定用スクリプトの作成、集計、判定役の確認には Claude Fable 5.2 を使いました。スクリーンショットと判定役の理由は編集部が抜き取りで読みましたが、416画面のすべてを人が読んではいません。
この実測表で分からないこと
- 人の利用者の評価:モデルの判定を使ったため、上位だった画面を人の利用者も使いやすいと感じるかは分かりません。
- 判定役と作り手の重なり:判定役の3モデルはすべて作り手にも含まれ、GPT-6 Astra も同様です。3票中2票は Claude です。自分の系統のモデルが作った画面を高く付ける偏りの向き・大きさは測っていません。基本の4画面の判定 1 では、作り手が Claude の画面ほど指示なしを上位にした組が多く、この構成による偏りで説明できる可能性があります(推定)。
- 必要な情報の判定の誤り:判定役 Claude Sonnet 5.5 が「見えない」とした21項目を確認すると、4項目は見えていました。判定に誤りがあるため、初期表示で見える項目数を過小評価する可能性があります。
- 画面の種類による違い:12種類の依頼文は編集部が用意したもので、実際の製品の画面の分布を代表していません。基本の4画面と条件つき画面・第2群で結果が異なる理由も、個別に検証していません。
- モデル別・画面別の優劣:各区分の組数が少ないため、モデル間・画面間の差は結論にしていません。画面別の組数は図に記載しました。
- 検定の数:伏せた比較の主な検定を7つ並べ、さらに生成の回別・判定役別にも検定しています。多重比較の補正(多数の検定による偶然の有意差を抑える調整)はしていないため、個々の有意差は探索的な結果です。
- 別の指示文への適用:投稿の一文と編集部が直した3つの指示に限定したため、共通の指示ファイルやデザイン方針を変えた場合の結果までは分かりません。
- 生成と判定の回数:生成は2回に限られるため、さらに生成を繰り返した場合に同じ結論になるかは分かりません。
- GLM-5.3-Flash の失敗を含む品質:HTML を出力せずに終了した回はやり直しました。画面を生成できた回だけを集計したため、失敗も含めた品質を示す結果ではありません。
よくある質問
この一文を AGENTS.md や CLAUDE.md に入れるべきですか。
編集部の測定では、追記して UI が良くなったと言える結果は得られませんでした。基本の4画面(通知設定・売上ダッシュボード・登録フォーム・料金ページ)の文字数は指示なしの0.68倍に減りました(32組中31組)。作り方を伏せた比較では指示なしが上位でした。条件つき画面・第2群(再配達の依頼・レンタカーの比較・共有フォルダの権限・プランの解約確認)では差があるとは言えません。導入前に自社の画面を指示の有無で作り、条件・期限・金額の表示を確認するのが編集部の提案です。
文字数はどれくらい減りますか。
基本の4画面の初期表示の文字数は指示なしを1とすると中央値で0.68倍でした(4モデル×4種類の画面×生成2回の計32組のうち31組で減少)。説明の文の文字数に限ると0.23倍です。モデル別では Claude Opus 5.5 が0.57倍、GLM-5.3-Flash が0.54倍、Claude Sonnet 5.5 が0.71倍、GPT-6 Astra(Codex CLI)が0.82倍でした。ただし、GPT-6 Astra の文字数は検定では差があるとは言えません。
作り手が Claude と GPT-6 Astra(Codex CLI)で結果は違いますか。
基本の4画面の判定 1(3 枚目は列挙の指示)で、3モデル中2モデル以上が指示なしを上位にした組は、作り手が Claude Sonnet 5.5 の場合は8組中8組、Claude Opus 5.5 は8組中7組、GLM-5.3-Flash は8組中5組でした。作り手が GPT-6 Astra の場合は、指示なしを上位にした組が4組、一文ありを上位にした組が4組で、差があるとは言えません。各モデルの組数は少なく、モデル間の差を検定した結果ではありません。
画面の文字数を減らしたい時は、どうすればよいですか。
出来上がった画面を同じモデルに見せて、見出し・操作・設定値を言い換えただけの文だけを削除する方法も測定しました。生成の1回目・2回目を合わせると、初期表示で見える必要な情報の項目数は見直しの前後で差があるとは言えません。文字数は指示なしの0.95倍で、削減幅は小さい結果です。伏せた比較では差があるとは言えません。編集部は削除する文を具体的に指定し、見直した画面でも条件の表示を確認する方法を候補にしています。
評価は人がしましたか。
伏せた比較の判定役は Claude Sonnet 5.5・Claude Opus 5.5・GPT-6 Astra の3モデルです。必要な情報の判定役は Claude Sonnet 5.5・Claude Opus 5.5 の2モデルです。3モデルはいずれも作り手に含まれ、GPT-6 Astra も例外ではありません。文字数の多い画面を高く評価する偏りは、編集部が言い換えを足した画面を使って確認しました。3モデルの多数決では元の画面が上位でした。人の利用者の評価との一致は測定していません。