メインコンテンツへスキップ

AGENTS.md の一文で文字数0.68倍のUI、作り方を伏せて比べると改善は確認できず|Claude Code・Codex ほかで実測【2026年11月】

AGENTS.md や CLAUDE.md に「不要なセカンダリラベルや説明を避ける。レイアウトに説明させる。」を追記すると、文字数は中央値で0.68倍でした。作り方を伏せて比べると、基本の4画面(通知設定・売上ダッシュボード・登録フォーム・料金ページ)は指示なしが上位でした。条件つき画面・第2群では差があるとは言えません。Claude・GPT・GLM の4モデルで測定しました。

AI に UI を作らせる時の指示として、2026年11月18日に次の一文が X で紹介されました(元の投稿は11月19日の時点で表示できません)。

不要なセカンダリラベルや説明を避ける。レイアウトに説明させる。

投稿はこの一文を AGENTS.md に追記すると「AI Slopかなり改善した」と述べています。AI Slop(AI が作りがちな、ありきたりで質の低い出力)の例として、サブタイトルや注釈を加えすぎた画面を挙げています。編集部は同じ一文を使い、文字数と必要な情報の残り方を数え、作り方を伏せてモデルに順位を付けさせました。

言葉は次の意味で使います。

  • 指示なし・一文あり:指示なしは共通の指示ファイルだけで作った画面、一文ありはその末尾に上の一文を追記した画面です。共通の指示は日本語・1ファイルの HTML・幅1280pxと390pxで崩れない、などの5点です。
  • 判定役・伏せた比較・組:判定役は画面を評価するモデルです。伏せた比較では作り方を知らせずに順位を付けさせます。「組」はモデル・画面の種類・生成の回が同じで、指示だけが違う画面のまとまりを指します。
  • 基本の4画面:通知設定・売上ダッシュボード・登録フォーム・料金ページ。画面の種類と要素だけを書いた依頼文を使い、4モデルで作成しました。
  • 条件つき画面・第1群:診察予約の変更・フリマの出品確認・経費の申請・写真の共有リンク。利用者に伝える条件を書いた依頼文を使い、Claude の2モデルで作成しました。必要な情報だけを測定し、伏せた比較はしていません。
  • 条件つき画面・第2群:再配達の依頼・レンタカーの比較・共有フォルダの権限・プランの解約確認。同じく条件を書いた依頼文を使い、4モデルで作成しました。
  • 必要な情報:依頼文に書いた条件のうち、利用者が操作の前に知らないと判断を誤る項目(金額・期限・手数料・取り消せるかどうかなど)です。

経費の申請では、一文ありの画面の初期表示から必要な条件が外れた(Claude Sonnet 5.5)

指示なし(画面の文字数 170 字)

出張交通費の申請の画面。入力欄の下に、領収書が必要になる金額の条件、承認者、取り下げと訂正の条件、期限を過ぎた時の扱いが書かれている

一文あり(画面の文字数 44 字)

同じ申請の画面。見出しと 4 つの入力欄、申請するボタンだけで、条件の文は申請期限の 1 行だけ
Claude Sonnet 5.5 が同じ依頼文から生成した画面を幅 390px で表示。違いは指示ファイルに「不要なセカンダリラベルや説明を避ける。レイアウトに説明させる。」を追記したかどうか。赤い枠は編集部の印で、指示なしの画面のうち、一文ありの初期表示では見えない内容の文を囲んだ。一文ありでは、領収書の条件は 3 万円を超える金額を入力した時に、承認者と取り下げ・訂正の条件は申請後の完了の文に、期限を過ぎると精算できないことはエラーの文に出る。必要な条件 4 項目がすべて初期表示から外れた例で、測定した中で最も多く外れた例の 1 つ。

この経費の申請の例では、画面の文字数は170字から44字でした。領収書が必要になる金額、承認者、取り下げ・訂正、期限を過ぎた時の扱いの4項目が、一文ありの初期表示から外れています。

文字数の削減を UI の改善とは判断できませんでした。 基本の4画面では文字数は指示なしの0.68倍。32組中31組で減少しました。一方、作り方を伏せて比べると指示なしが上位でした。判定 1(3 枚目は列挙の指示)の32組では、3モデル中2モデル以上が指示なしを上位にした組が24組、一文ありを上位にした組が8組です。条件つき画面・第2群では差があるとは言えません。

  • 判定役:伏せた比較は Claude Sonnet 5.5・Claude Opus 5.5・GPT-6 Astra の3モデルの多数決。必要な情報は Claude Sonnet 5.5・Claude Opus 5.5 の2モデルが個別に判定しました。
  • 作り手:Claude Sonnet 5.5・Claude Opus 5.5(Claude Code)、GPT-6 Astra(Codex CLI)、GLM-5.3-Flash の4モデルです。
  • 規模:12種類の依頼文で416画面を作りました。Claude Code では CLAUDE.md、Codex CLI では AGENTS.md に追記しています。これらはプロジェクトに置き、毎回の依頼の前提としてモデルに読ませる指示ファイルです。
  • 測り方:画面は生成の1回目・2回目を用意しました。判定の対象範囲は図ごとに示します。差の有無は符号検定(同じ組で、どちらが上位かなどの件数の偏りを見る検定)で判断しました。

実測表:文字数は減っても、伏せた比較で指示なしより上位だった指示はなかった

画面の群は冒頭で定義した3つです。

実測表:伏せた比較で指示なしより上位だった指示はなかった

条件文字数伏せた比較
基本の4画面
伏せた比較
条件つき画面・第2群
必要な情報
条件つき画面・第1群
必要な情報
条件つき画面・第2群
指示なし1(基準)——65/68・65/68134/144・135/144
一文あり0.68 倍24・814・1855/68・54/68130/144・126/144
列挙の指示0.51 倍25・7未測定50/68・49/68未測定
判断基準の指示0.62 倍未測定未測定49/68・50/68未測定
言い換え限定の指示1.77 倍22・1013・19未測定144/144・143/144
文字数は基本の4画面で指示なしを 1 とした倍率の中央値。伏せた比較の数は「3 モデル中 2 モデル以上が指示なしを上位にした組・その指示を上位にした組」。基本の4画面は 32 組(一文あり・列挙の指示は判定 1、言い換え限定の指示は判定 2)、条件つき画面・第2群は 32 組。必要な情報の数は「初期表示で見える項目/確認した項目」で、左が判定役 Claude Sonnet 5.5、右が Claude Opus 5.5。列挙の指示は足さない文と残す文を列挙し、判断基準の指示は読まないと判断を誤る文を残す。言い換え限定の指示は言い換えの文だけを削り、条件は操作の前に見せる。判断基準の指示は文字数と必要な情報だけを測定した。伏せた比較の判定役は Claude Sonnet 5.5・Claude Opus 5.5・GPT-6 Astra。必要な情報の判定役は Claude Sonnet 5.5・Claude Opus 5.5。人による評価ではない。

「列挙の指示」は足さない文と残す文を列挙したもの、「判断基準の指示」は読まないと判断を誤る文を残すと指定したものです。「言い換え限定の指示」は言い換えの文だけを削り、条件は操作の前に見せると指定しました。全文は「測定の条件」に掲載しています。

モデル別の文字数の倍率は0.54〜0.82倍だった

一文ありの文字数は、指示なしの 0.68 倍だった

0倍0.5倍1倍4 モデルの全体(32 組中 31 組で文字数が減少)全体:指示なしの 0.68 倍0.68Claude Sonnet 5.5(8 組中 8 組で文字数が減少)Claude Sonnet 5.5:指示なしの 0.71 倍0.71Claude Opus 5.5(8 組中 8 組で文字数が減少)Claude Opus 5.5:指示なしの 0.57 倍0.57GPT-6 Astra(8 組中 7 組で文字数が減少)GPT-6 Astra:指示なしの 0.82 倍0.82GLM-5.3-Flash(8 組中 8 組で文字数が減少)GLM-5.3-Flash:指示なしの 0.54 倍0.54
基本の4画面の初期表示の文字数(幅 1280px、空白を除く)を、同じモデル・同じ種類の画面・同じ生成の回の指示なしと比べた倍率の中央値。生成の1回目は 16 組で 0.68 倍、生成の2回目は 16 組で 0.68 倍。説明の文の文字数に限ると 0.23 倍。全体の検定は p は 0.001 未満。Claude Sonnet 5.5 は p = 0.008、Claude Opus 5.5 は p = 0.008、GPT-6 Astra は p = 0.070、GLM-5.3-Flash は p = 0.008。GPT-6 Astra の文字数は差があるとは言えない。

投稿が述べた、説明が多い画面になる傾向は編集部の測定でも確認できました。判定役が「無くても困らない文」として抜き出した文は、指示なしの画面で平均5.0個、一文ありの画面で平均2.1個です。見出しの下の「ここでは〜を設定できます」や、選んだ値を読み上げるだけの文が含まれました。

GPT-6 Astra(Codex CLI)の倍率の中央値は4モデルの中で最も1に近い値でした。GPT-6 Astra の文字数は指示なしとの差があるとは言えません。モデル間の差も検定していません。どの指示で作った画面でも、入力欄のラベルが消えた例はありませんでした。

基本の4画面では、指示なしの画面が上位だった

指示なしの優位は、比較に加える指示を替えても続いた

4 モデルの全体・判定 1(32 組)指示なしを上位にした組が 24 組、一文ありを上位にした組が8 組4 モデルの全体・判定 1(32 組):3 モデルが指示なしを上位にした 15 組(32 組中)4 モデルの全体・判定 1(32 組):2 モデルが指示なしを上位にした 9 組(32 組中)4 モデルの全体・判定 1(32 組):1 モデルが指示なしを上位にした 5 組(32 組中)4 モデルの全体・判定 1(32 組):0 モデルが指示なしを上位にした 3 組(32 組中)4 モデルの全体・判定 2(32 組)指示なしを上位にした組が 28 組、一文ありを上位にした組が4 組4 モデルの全体・判定 2(32 組):3 モデルが指示なしを上位にした 21 組(32 組中)4 モデルの全体・判定 2(32 組):2 モデルが指示なしを上位にした 7 組(32 組中)4 モデルの全体・判定 2(32 組):1 モデルが指示なしを上位にした 3 組(32 組中)4 モデルの全体・判定 2(32 組):0 モデルが指示なしを上位にした 1 組(32 組中)作り手 Claude Sonnet 5.5・判定 1(8 組)指示なしを上位にした組が 8 組、一文ありを上位にした組が 0組作り手 Claude Sonnet 5.5・判定 1(8 組):3 モデルが指示なしを上位にした 6 組(8 組中)作り手 Claude Sonnet 5.5・判定 1(8 組):2 モデルが指示なしを上位にした 2 組(8 組中)作り手 Claude Sonnet 5.5・判定 2(8 組)指示なしを上位にした組が 8 組、一文ありを上位にした組が 0組作り手 Claude Sonnet 5.5・判定 2(8 組):3 モデルが指示なしを上位にした 8 組(8 組中)作り手 Claude Opus 5.5・判定 1(8 組)指示なしを上位にした組が 7 組、一文ありを上位にした組が 1組作り手 Claude Opus 5.5・判定 1(8 組):3 モデルが指示なしを上位にした 4 組(8 組中)作り手 Claude Opus 5.5・判定 1(8 組):2 モデルが指示なしを上位にした 3 組(8 組中)作り手 Claude Opus 5.5・判定 1(8 組):1 モデルが指示なしを上位にした 1 組(8 組中)作り手 Claude Opus 5.5・判定 2(8 組)指示なしを上位にした組が 8 組、一文ありを上位にした組が 0組作り手 Claude Opus 5.5・判定 2(8 組):3 モデルが指示なしを上位にした 5 組(8 組中)作り手 Claude Opus 5.5・判定 2(8 組):2 モデルが指示なしを上位にした 3 組(8 組中)作り手 GPT-6 Astra・判定 1(8 組)指示なしを上位にした組が 4 組、一文ありを上位にした組が 4組作り手 GPT-6 Astra・判定 1(8 組):3 モデルが指示なしを上位にした 1 組(8 組中)作り手 GPT-6 Astra・判定 1(8 組):2 モデルが指示なしを上位にした 3 組(8 組中)作り手 GPT-6 Astra・判定 1(8 組):1 モデルが指示なしを上位にした 2 組(8 組中)作り手 GPT-6 Astra・判定 1(8 組):0 モデルが指示なしを上位にした 2 組(8 組中)作り手 GPT-6 Astra・判定 2(8 組)指示なしを上位にした組が 5 組、一文ありを上位にした組が 3組作り手 GPT-6 Astra・判定 2(8 組):3 モデルが指示なしを上位にした 2 組(8 組中)作り手 GPT-6 Astra・判定 2(8 組):2 モデルが指示なしを上位にした 3 組(8 組中)作り手 GPT-6 Astra・判定 2(8 組):1 モデルが指示なしを上位にした 2 組(8 組中)作り手 GPT-6 Astra・判定 2(8 組):0 モデルが指示なしを上位にした 1 組(8 組中)作り手 GLM-5.3-Flash・判定 1(8 組)指示なしを上位にした組が 5 組、一文ありを上位にした組が 3組作り手 GLM-5.3-Flash・判定 1(8 組):3 モデルが指示なしを上位にした 4 組(8 組中)作り手 GLM-5.3-Flash・判定 1(8 組):2 モデルが指示なしを上位にした 1 組(8 組中)作り手 GLM-5.3-Flash・判定 1(8 組):1 モデルが指示なしを上位にした 2 組(8 組中)作り手 GLM-5.3-Flash・判定 1(8 組):0 モデルが指示なしを上位にした 1 組(8 組中)作り手 GLM-5.3-Flash・判定 2(8 組)指示なしを上位にした組が 7 組、一文ありを上位にした組が 1組作り手 GLM-5.3-Flash・判定 2(8 組):3 モデルが指示なしを上位にした 6 組(8 組中)作り手 GLM-5.3-Flash・判定 2(8 組):2 モデルが指示なしを上位にした 1 組(8 組中)作り手 GLM-5.3-Flash・判定 2(8 組):1 モデルが指示なしを上位にした 1 組(8 組中)
  • 3 モデルとも指示なしが上位
  • 2 モデルが指示なしを上位にした
  • 1 モデルが指示なしを上位にした
  • 3 モデルとも一文ありが上位
基本の4画面の生成の1回目・2回目を比較。判定 1(3 枚目は列挙の指示)は指示なしを上位にした組が 24 組、一文ありを上位にした組が 8 組(p = 0.007)。判定 2(3 枚目は言い換え限定の指示)は指示なしを上位にした組が 28 組、一文ありを上位にした組が 4 組(p は 0.001 未満)。指示なしと一文ありの画面は、判定 1 と判定 2 で同じものを使った。棒は左の画面を上位にした判定役が 3・2・1・0 モデルの組数を示す。上下の組数と検定は 3 モデルの多数決で数えた。

判定 1 と判定 2 は同じ指示なし・一文ありの画面を使い、比較に加える3枚目だけを替えています。判定 1 は合算では指示なしが上位でしたが、生成の回ごとでは差があるとは言えません。判定 2 は生成の各回でも指示なしが上位でした。列挙の指示との比較は、合算と生成の1回目で指示なしが上位でしたが、生成の2回目では差があるとは言えません。

判定役が書き出した「無くて困る文やラベル」は、指示なしの画面で平均1.9個、一文ありの画面で平均3.5個でした。5点満点の採点では、分かりやすさが指示なし4.56点・一文あり3.89点、製品として出せる水準が指示なし3.98点・一文あり3.52点です。いずれも判定 1 の平均で、この点数差を検定した結果ではありません。

Claude Sonnet 5.5 が作った画面では、判定 1・判定 2 ともに8組すべてで多数決が指示なしを上位にしました。GPT-6 Astra が作った画面では、判定 1・判定 2 とも差があるとは言えません。作り手の違いと判定役の違いは分けて読む必要があります。

条件つき画面・第2群の伏せた比較では差があるとは言えない

条件つき画面・第2群では、一文の有無で差があるとは言えない

基本の4画面・通知設定(8 組)指示なしを上位にした組が 6 組、一文ありを上位にした組が 2組基本の4画面・通知設定(8 組):3 モデルが指示なしを上位にした 3 組(8 組中)基本の4画面・通知設定(8 組):2 モデルが指示なしを上位にした 3 組(8 組中)基本の4画面・通知設定(8 組):1 モデルが指示なしを上位にした 2 組(8 組中)基本の4画面・売上ダッシュボード(8 組)指示なしを上位にした組が 7 組、一文ありを上位にした組が 1組基本の4画面・売上ダッシュボード(8 組):3 モデルが指示なしを上位にした 4 組(8 組中)基本の4画面・売上ダッシュボード(8 組):2 モデルが指示なしを上位にした 3 組(8 組中)基本の4画面・売上ダッシュボード(8 組):1 モデルが指示なしを上位にした 1 組(8 組中)基本の4画面・登録フォーム(8 組)指示なしを上位にした組が 5 組、一文ありを上位にした組が 3組基本の4画面・登録フォーム(8 組):3 モデルが指示なしを上位にした 4 組(8 組中)基本の4画面・登録フォーム(8 組):2 モデルが指示なしを上位にした 1 組(8 組中)基本の4画面・登録フォーム(8 組):1 モデルが指示なしを上位にした 1 組(8 組中)基本の4画面・登録フォーム(8 組):0 モデルが指示なしを上位にした 2 組(8 組中)基本の4画面・料金ページ(8 組)指示なしを上位にした組が 6 組、一文ありを上位にした組が 2組基本の4画面・料金ページ(8 組):3 モデルが指示なしを上位にした 4 組(8 組中)基本の4画面・料金ページ(8 組):2 モデルが指示なしを上位にした 2 組(8 組中)基本の4画面・料金ページ(8 組):1 モデルが指示なしを上位にした 1 組(8 組中)基本の4画面・料金ページ(8 組):0 モデルが指示なしを上位にした 1 組(8 組中)条件つき画面・第2群・再配達の依頼(8 組)指示なしを上位にした組が 3 組、一文ありを上位にした組が 5組条件つき画面・第2群・再配達の依頼(8 組):2 モデルが指示なしを上位にした 3 組(8 組中)条件つき画面・第2群・再配達の依頼(8 組):1 モデルが指示なしを上位にした 3 組(8 組中)条件つき画面・第2群・再配達の依頼(8 組):0 モデルが指示なしを上位にした 2 組(8 組中)条件つき画面・第2群・レンタカーの比較(8 組)指示なしを上位にした組が 3 組、一文ありを上位にした組が 5組条件つき画面・第2群・レンタカーの比較(8 組):3 モデルが指示なしを上位にした 2 組(8 組中)条件つき画面・第2群・レンタカーの比較(8 組):2 モデルが指示なしを上位にした 1 組(8 組中)条件つき画面・第2群・レンタカーの比較(8 組):1 モデルが指示なしを上位にした 4 組(8 組中)条件つき画面・第2群・レンタカーの比較(8 組):0 モデルが指示なしを上位にした 1 組(8 組中)条件つき画面・第2群・共有フォルダの権限(8 組)指示なしを上位にした組が 6 組、一文ありを上位にした組が 2組条件つき画面・第2群・共有フォルダの権限(8 組):3 モデルが指示なしを上位にした 5 組(8 組中)条件つき画面・第2群・共有フォルダの権限(8 組):2 モデルが指示なしを上位にした 1 組(8 組中)条件つき画面・第2群・共有フォルダの権限(8 組):0 モデルが指示なしを上位にした 2 組(8 組中)条件つき画面・第2群・プランの解約確認(8 組)指示なしを上位にした組が 2 組、一文ありを上位にした組が 6組条件つき画面・第2群・プランの解約確認(8 組):3 モデルが指示なしを上位にした 1 組(8 組中)条件つき画面・第2群・プランの解約確認(8 組):2 モデルが指示なしを上位にした 1 組(8 組中)条件つき画面・第2群・プランの解約確認(8 組):1 モデルが指示なしを上位にした 3 組(8 組中)条件つき画面・第2群・プランの解約確認(8 組):0 モデルが指示なしを上位にした 3 組(8 組中)
  • 3 モデルとも指示なしが上位
  • 2 モデルが指示なしを上位にした
  • 1 モデルが指示なしを上位にした
  • 3 モデルとも一文ありが上位
上は基本の4画面の判定 1、下は条件つき画面・第2群。条件つき画面・第2群全体の 32 組では指示なしを上位にした組が 14 組、一文ありを上位にした組が 18 組(p = 0.597)。画面別の内訳は「通知設定 8 組、売上ダッシュボード 8 組、登録フォーム 8 組、料金ページ 8 組、再配達の依頼 8 組、レンタカーの比較 8 組、共有フォルダの権限 8 組、プランの解約確認 8 組」。画面ごとの優劣は結論にしない。条件つき画面・第2群の 3 枚目は言い換え限定の指示。

基本の4画面の依頼文には画面の種類と要素だけを書きました。利用者に伝える条件を指定すると結果が変わる可能性があるため、条件つき画面・第2群でも比較しています。条件を明示した依頼文でも、一文ありの優位は確認できませんでした。生成の各回でも差があるとは言えません。

必要な情報の変化は、指示と画面の群で異なる

判断基準の指示では、初期表示で見える必要な情報が指示なしより少なかった

0%50%100%指示なし・判定役 Claude Sonnet 5.5(68 項目中65)指示なし・判定役 Claude Sonnet 5.5(68 項目中 65)。操作の後に出る 3・どこにも無い 0指示なし・判定役 Claude Opus 5.5(68 項目中 65)指示なし・判定役 Claude Opus 5.5(68 項目中 65)。操作の後に出る 3・どこにも無い 0一文あり・判定役 Claude Sonnet 5.5(68 項目中 55)一文あり・判定役 Claude Sonnet 5.5(68 項目中 55)。操作の後に出る 12・どこにも無い 1一文あり・判定役 Claude Opus 5.5(68 項目中 54)一文あり・判定役 Claude Opus 5.5(68 項目中 54)。操作の後に出る 13・どこにも無い 1列挙の指示・判定役 Claude Sonnet 5.5(68 項目中50)列挙の指示・判定役 Claude Sonnet 5.5(68 項目中 50)。操作の後に出る 14・どこにも無い 4列挙の指示・判定役 Claude Opus 5.5(68 項目中 49)列挙の指示・判定役 Claude Opus 5.5(68 項目中 49)。操作の後に出る 15・どこにも無い 4判断基準の指示・判定役 Claude Sonnet 5.5(68項目中 49)判断基準の指示・判定役 Claude Sonnet 5.5(68 項目中 49)。操作の後に出る 16・どこにも無い 3判断基準の指示・判定役 Claude Opus 5.5(68 項目中50)判断基準の指示・判定役 Claude Opus 5.5(68 項目中 50)。操作の後に出る 16・どこにも無い 2
条件つき画面・第1群で、利用者が操作の前に知らないと判断を誤る条件を画面ごとに 4〜5 項目選んだ。判定役 Claude Sonnet 5.5・Claude Opus 5.5 が初期表示の文と HTML から判定。棒は「初期表示で見える」項目の割合。判定役 Claude Sonnet 5.5では一文あり:初期表示で見える項目が指示なしより少なかった画面 6・多かった画面 1・同数 9(p = 0.125)、列挙の指示:初期表示で見える項目が指示なしより少なかった画面 6・多かった画面 1・同数 9(p = 0.125)、判断基準の指示:初期表示で見える項目が指示なしより少なかった画面 7・多かった画面 0・同数 9(p = 0.016)。判定役 Claude Opus 5.5では一文あり:初期表示で見える項目が指示なしより少なかった画面 6・多かった画面 1・同数 9(p = 0.125)、列挙の指示:初期表示で見える項目が指示なしより少なかった画面 7・多かった画面 1・同数 8(p = 0.070)、判断基準の指示:初期表示で見える項目が指示なしより少なかった画面 6・多かった画面 0・同数 10(p = 0.031)。

条件つき画面・第1群を、判定役 Claude Sonnet 5.5・Claude Opus 5.5 が確認しました。冒頭の経費の申請は、必要な情報が初期表示から最も多く外れた例の1つです。判定役 Claude Sonnet 5.5 が初期表示で見えるとした項目は、68項目中、指示なし65・一文あり55でした(画面ごとの検定では差があるとは言えない)。

一文ありで「操作の後に出る」とされた項目は12、「どこにも無い」は1です(指示なしは3と0)。初期表示から外れた条件の多くは、入力や申請の後に表示される作りになっていました。両判定役とも、一文ありと列挙の指示では差があるとは言えません。判断基準の指示は合算では指示なしより少なかったものの、両判定役とも生成の回ごとでは差があるとは言えません。

条件つき画面・第2群の必要な情報は、一文の有無で差があるとは言えない

0%50%100%指示なし・判定役 Claude Sonnet 5.5(144 項目中134)指示なし・判定役 Claude Sonnet 5.5(144 項目中 134)。操作の後に出る 9・どこにも無い 1指示なし・判定役 Claude Opus 5.5(144 項目中135)指示なし・判定役 Claude Opus 5.5(144 項目中 135)。操作の後に出る 9・どこにも無い 0一文あり・判定役 Claude Sonnet 5.5(144 項目中130)一文あり・判定役 Claude Sonnet 5.5(144 項目中 130)。操作の後に出る 13・どこにも無い 1一文あり・判定役 Claude Opus 5.5(144 項目中 126)一文あり・判定役 Claude Opus 5.5(144 項目中 126)。操作の後に出る 18・どこにも無い 0言い換え限定の指示・判定役 Claude Sonnet 5.5(144項目中 144)言い換え限定の指示・判定役 Claude Sonnet 5.5(144 項目中 144)。操作の後に出る 0・どこにも無い 0言い換え限定の指示・判定役 Claude Opus 5.5(144項目中 143)言い換え限定の指示・判定役 Claude Opus 5.5(144 項目中 143)。操作の後に出る 1・どこにも無い 0
条件つき画面・第2群で、利用者が操作の前に知らないと判断を誤る条件を画面ごとに 4〜5 項目選んだ。判定役 Claude Sonnet 5.5・Claude Opus 5.5 が初期表示の文と HTML から判定。棒は「初期表示で見える」項目の割合。判定役 Claude Sonnet 5.5では一文あり:初期表示で見える項目が指示なしより少なかった画面 4・多かった画面 3・同数 25(p = 1.000)、言い換え限定の指示:初期表示で見える項目が指示なしより少なかった画面 0・多かった画面 5・同数 27(p = 0.063)。判定役 Claude Opus 5.5では一文あり:初期表示で見える項目が指示なしより少なかった画面 6・多かった画面 2・同数 24(p = 0.289)、言い換え限定の指示:初期表示で見える項目が指示なしより少なかった画面 1・多かった画面 4・同数 27(p = 0.375)。

条件つき画面・第2群では一文ありと言い換え限定の指示のいずれも、初期表示で見える必要な情報に指示なしとの差があるとは言えません。

基本の4画面では、言い換え限定の指示で文字数が増えた

言い回しを変えた指示にも、伏せた比較での優位は確認できなかった

列挙の指示・基本の4画面(32 組、文字数 0.51 倍)指示なしを上位にした組が 25 組、比較した指示を上位にした組が 7 組列挙の指示・基本の4画面(32 組、文字数 0.51 倍):3 モデルが指示なしを上位にした 15 組(32 組中)列挙の指示・基本の4画面(32 組、文字数 0.51 倍):2 モデルが指示なしを上位にした 10 組(32 組中)列挙の指示・基本の4画面(32 組、文字数 0.51 倍):1 モデルが指示なしを上位にした 6 組(32 組中)列挙の指示・基本の4画面(32 組、文字数 0.51 倍):0 モデルが指示なしを上位にした 1 組(32 組中)言い換え限定の指示・基本の4画面(32 組、文字数 1.77倍)指示なしを上位にした組が 22 組、比較した指示を上位にした組が 10 組言い換え限定の指示・基本の4画面(32 組、文字数 1.77 倍):3 モデルが指示なしを上位にした 17 組(32 組中)言い換え限定の指示・基本の4画面(32 組、文字数 1.77 倍):2 モデルが指示なしを上位にした 5 組(32 組中)言い換え限定の指示・基本の4画面(32 組、文字数 1.77 倍):1 モデルが指示なしを上位にした 5 組(32 組中)言い換え限定の指示・基本の4画面(32 組、文字数 1.77 倍):0 モデルが指示なしを上位にした 5 組(32 組中)言い換え限定の指示・条件つき画面・第2群(32 組、文字数 1.06 倍)指示なしを上位にした組が 13 組、比較した指示を上位にした組が 19 組言い換え限定の指示・条件つき画面・第2群(32 組、文字数 1.06 倍):3 モデルが指示なしを上位にした 9 組(32 組中)言い換え限定の指示・条件つき画面・第2群(32 組、文字数 1.06 倍):2 モデルが指示なしを上位にした 4 組(32 組中)言い換え限定の指示・条件つき画面・第2群(32 組、文字数 1.06 倍):1 モデルが指示なしを上位にした 8 組(32 組中)言い換え限定の指示・条件つき画面・第2群(32 組、文字数 1.06 倍):0 モデルが指示なしを上位にした 11 組(32 組中)
  • 3 モデルとも指示なしが上位
  • 2 モデルが指示なしを上位にした
  • 1 モデルが指示なしを上位にした
  • 3 モデルとも比較した指示が上位
基本の4画面の列挙の指示との比較では、指示なしが上位だった(p = 0.002)。基本の4画面の言い換え限定の指示との比較では、差があるとは言えない(p = 0.050)。条件つき画面・第2群の言い換え限定の指示との比較では、差があるとは言えない(p = 0.377)。判断基準の指示は文字数と必要な情報だけを測定した。各指示の全文は「測定の条件」に掲載。

基本の4画面で、列挙の指示と判断基準の指示の文字数は指示なしより少なくなりました(0.51倍と0.62倍)。一方、言い換え限定の指示では指示なしの1.77倍に増えました。条件つき画面・第2群の言い換え限定の指示は1.06倍で、文字数に差があるとは言えません。

条件つき画面の必要な情報と合わせて読むと、3通りの指示で文字数の削減と必要な情報の維持を両立できたとは言えません。言い回しを直せば問題が解決する、と判断できる結果ではありませんでした。

言い換えを足した画面は、3モデルの多数決で全組とも元の画面より下位だった

判定の偏りを調べる比較では、元の画面が上位だった

説明の文を消した画面との比較元の画面を上位にした組が 32 組、説明の文を消した画面を上位にした組が 0 組説明の文を消した画面との比較:3 モデルが元の画面を上位にした 28 組(32 組中)説明の文を消した画面との比較:2 モデルが元の画面を上位にした 4 組(32 組中)言い換えを足した画面との比較元の画面を上位にした組が 32 組、言い換えを足した画面を上位にした組が 0 組言い換えを足した画面との比較:3 モデルが元の画面を上位にした 32 組(32 組中)
  • 3 モデルとも元の画面が上位
  • 2 モデルが元の画面を上位にした
  • 1 モデルが元の画面を上位にした
  • 0 モデルが元の画面を上位にした
文字数の多い画面を高く評価する偏りがないかを確認するため、編集部が指示なしの画面を加工した。説明の文を消した画面は、見出し・ボタン・入力欄のラベルを残して説明の文を削除。言い換えを足した画面には見出しの言い換えを追加した。基本の4画面の生成の1回目・2回目、32 組の多数決で、元の画面を上位にした組が 32 組、言い換えを足した画面を上位にした組が 0 組(p は 0.001 未満)。説明の文を消した画面との比較では元の画面を上位にした組が 32 組、説明の文を消した画面を上位にした組が 0 組(p は 0.001 未満)。

文字数の多い画面ほど高く評価する判定役なら、ここまでの結果にも影響します。そこで編集部は指示なしの画面に見出しの言い換えを機械的に追加した「言い換えを足した画面」と、説明を削除した「説明の文を消した画面」を用意しました。この「判定の偏りを調べる比較」では、生成の各回でも元の画面が上位でした。文字数だけで順位を付けていたとは考えにくい、と編集部は考えています(推定)。

判定 1 で指示なしの優位が確認できた判定役は Claude Opus 5.5 だけだった

比較(左対右)Claude Sonnet 5.5Claude Opus 5.5GPT-6 Astra
基本の4画面・判定 1:指示なし対一文あり32 組中 21 組
p = 0.110
差があるとは言えない
32 組中 27 組
p は 0.001 未満
左が上位だった
32 組中 20 組
p = 0.215
差があるとは言えない
基本の4画面・判定 1:指示なし対列挙の指示32 組中 22 組
p = 0.050
差があるとは言えない
32 組中 27 組
p は 0.001 未満
左が上位だった
32 組中 22 組
p = 0.050
差があるとは言えない
基本の4画面・判定 2:指示なし対一文あり32 組中 25 組
p = 0.002
左が上位だった
32 組中 28 組
p は 0.001 未満
左が上位だった
32 組中 27 組
p は 0.001 未満
左が上位だった
基本の4画面・判定 2:指示なし対言い換え限定の指示32 組中 20 組
p = 0.215
差があるとは言えない
32 組中 21 組
p = 0.110
差があるとは言えない
32 組中 25 組
p = 0.002
左が上位だった
条件つき画面・第2群:指示なし対一文あり32 組中 14 組
p = 0.597
差があるとは言えない
32 組中 19 組
p = 0.377
差があるとは言えない
32 組中 13 組
p = 0.377
差があるとは言えない
条件つき画面・第2群:指示なし対言い換え限定の指示32 組中 13 組
p = 0.377
差があるとは言えない
32 組中 14 組
p = 0.597
差があるとは言えない
32 組中 16 組
p = 1.000
差があるとは言えない
元の画面対言い換えを足した画面32 組中 32 組
p は 0.001 未満
左が上位だった
32 組中 32 組
p は 0.001 未満
左が上位だった
32 組中 32 組
p は 0.001 未満
左が上位だった
元の画面対説明の文を消した画面32 組中 28 組
p は 0.001 未満
左が上位だった
32 組中 32 組
p は 0.001 未満
左が上位だった
32 組中 32 組
p は 0.001 未満
左が上位だった
各セルは、判定役単独で左の画面を上位にした組数と符号検定の結果。GPT-6 Astra は Codex CLI、推論の設定 medium で判定した。スクリーンショットは GPT-6 Astra には添付、Claude の 2 モデルには作業フォルダのファイルとして渡した。生成の1回目・2回目を含み、各判定役と多数決の対象範囲は同じ。有意かどうかは丸める前の p で決める。表示が p = 0.050 でも、実際の値が 0.05 以上なら差があるとは言えない。判定 1 の指示なし対一文ありで、指示なしを上位にした組はClaude Sonnet 5.5 が 32 組中 21 組、Claude Opus 5.5 が 32 組中 27 組、GPT-6 Astra が 32 組中 20 組。

判定役を個別に見ると、結論はそろっていません。GPT-6 Astra 単独の判定 1 では、指示なしを上位にした組は32組中20組で、差があるとは言えません(p = 0.215)。判定 2 は32組中27組で、指示なしが上位でした(p は 0.001 未満)。3モデルの多数決の結論を、すべての判定役に共通する結論とは扱えません。

見直しの前後で、必要な情報の項目数に差があるとは言えない

見直した画面と指示なしの画面は、伏せた比較で差があるとは言えない

測定項目結果
文字数(生成の1回目・2回目)指示なしの 0.95 倍(中央値)。64 画面中 46 画面で減少、18 画面は初期表示の文が変わらなかった
必要な情報(生成の1回目・2回目)判定役 Claude Sonnet 5.5:指示なし 134/144・見直した画面 135/144(p = 1.000)。差があるとは言えない、判定役 Claude Opus 5.5:指示なし 135/144・見直した画面 135/144(検定できない(差のある組が 0))。差があるとは言えない
伏せた比較(3 モデルの多数決)指示なしを上位にした組が 27 組、見直した画面を上位にした組が 37 組(64 組、p = 0.260)
初期表示の文が変わった画面(3 モデルの多数決)46 組中、指示なしを上位にした組が 20 組、見直した画面を上位にした組が 26 組(p = 0.461)
初期表示の文が変わった画面(判定役別)Claude Sonnet 5.5:46 組中 33 組で見直した画面を上位にした、Claude Opus 5.5:46 組中 25 組で見直した画面を上位にした、GPT-6 Astra:46 組中 28 組で見直した画面を上位にした
初期表示の文が変わらなかった画面(3 モデルの多数決)18 組中、指示なしを上位にした組が 7 組、見直した画面を上位にした組が 11 組(p = 0.481)
初期表示の文が変わらなかった画面(判定役別)Claude Sonnet 5.5:18 組中 13 組で見直した画面を上位にした、Claude Opus 5.5:18 組中 5 組で見直した画面を上位にした、GPT-6 Astra:18 組中 10 組で見直した画面を上位にした
指示なしで作った画面を同じモデルに見せ、言い換えの文だけを削除するよう依頼。文字数と伏せた比較の対象は基本の4画面と条件つき画面・第2群。必要な情報は条件つき画面・第2群の初期表示で見える項目数。すべて生成の1回目・2回目を含む。伏せた比較は3モデル、必要な情報は2モデルが全組を判定した。初期表示の文が変わらなかった画面の順位は、内容の改善を示すものではない。

画面を作る前に削減を指示する方法に加え、出来上がった画面を同じモデルに見せ、削除する文を具体的に指定する方法も測定しました。必要な情報は条件つき画面・第2群で確認しました。

生成の1回目・2回目を合わせた初期表示の項目数は、判定役 Claude Sonnet 5.5 では144項目中、指示なし134・見直した画面135でした。画面ごとの検定では差があるとは言えません。Claude Opus 5.5 では144項目中、指示なし135・見直した画面135でした。全32組で項目数が同じで、検定の対象となる差がありませんでした。

文字数は指示なしの0.95倍で、削減幅は小さい結果です。伏せた比較の64組では、指示なしを上位にした組が27組、見直した画面を上位にした組が37組で、差があるとは言えません(p = 0.260)。初期表示の文が変わった画面の46組でも差があるとは言えません(p = 0.461)。

初期表示の文が変わらなかった画面の18組でも差があるとは言えません(p = 0.481)。内容が同じ画面にも順位が付くため、この結果だけで改善を判断することはできません。

生成の回によって多数決の向きが逆になる比較もありました。条件つき画面・第2群の一文あり対言い換え限定の指示、見直しの段の指示なし対一文あり、一文あり対見直した画面が該当します。いずれも各回・合算とも差があるとは言えません。回別の件数と検定は「測定の条件」にまとめました。

指示ファイルに追記する前に確認すること

画面の文字数を減らす指示を加えたい

  • 確認すること:自社の画面2〜3種類を、指示ありと指示なしでそれぞれ作り、依頼文に書いた条件・期限・金額が初期表示で見えるかを数える
  • 根拠:基本の4画面の文字数は0.68倍だったが、伏せた比較で指示なしより上位だった指示はなかった。条件つき画面・第1群の初期表示で見える項目数は、指示なしの65から一文ありの55だった(画面ごとの検定では差があるとは言えない)

Codex CLI(GPT-6 Astra)で使う

  • 確認すること:文字数への影響が小さい場合でも、条件の表示位置が変わっていないかを、自社の画面で確認する
  • 根拠:文字数は0.82倍だった。文字数と伏せた比較のいずれも、差があるとは言えない

出来上がった画面の文字数を減らしたい

  • 候補:画面を見せて、見出し・操作・設定値を言い換えただけの文だけを削除するよう頼む
  • 根拠:生成の1回目・2回目を合わせた必要な情報の項目数は、見直しの前後で差があるとは言えない。文字数は0.95倍
  • 向かない場面:文字数を大きく減らしたい時。64画面中18画面は初期表示の文が変わらなかった

測っていない対象と理由

  • 見た目だけの好み:文字数の削減と必要な情報を優先したため、配色や余白の印象は単独では測定していません。製品としての水準を問う採点に含まれるだけです。
  • 実際の製品の開発:指示の影響を比較するため、1つの依頼文から1つの画面を作りました。既存製品の改修や、何度もやり取りして仕上げる作業は対象外です。
  • 英語の画面と英語の指示:日本語の一文の影響に範囲を絞ったため、画面の文も指示も日本語です。
  • ほかのモデル:測定範囲を4モデルに限定したため、Gemini などは測定していません。
  • 詳しいデザイン方針を渡した場合の順位:指示による文字数の変化を先に確認したため、実在の製品のデザイン方針と参照画像を渡した条件は文字数だけを測定しました(一文ありは指示なしの0.47倍。8組中8組で減少)。伏せた比較はしていません。

測定の条件

モデルとツールのバージョン、指示の全文、依頼文、判定と検定の方法は次の欄にまとめています。

測定の条件の詳細を開く

モデルとツール

GLM-5.3-Flash は 98 回中 16 回、HTML を出力せずに終了した

モデル使ったツールとバージョンモデルの指定画面ができた回数
Claude Sonnet 5.5Claude Code 2.1.326claude-sonnet-5-5130 回中 130 回
Claude Opus 5.5Claude Code 2.1.326claude-opus-5-5130 回中 130 回
GPT-6 AstraCodex CLI 0.166.0gpt-6-astra(推論の設定 medium)83 回中 83 回
GLM-5.3-FlashDeepSeek Harness 0.2.1-rc.2GLM-5.3-Flash(社内のサーバー)98 回中 82 回
GLM-5.3-Flash が HTML を出力せずに終了した回は、同じ条件でやり直し、画面ができた回を集計した。表はモデルごとの依頼回数と、HTML を出力できた回数を示す。

測定日は2026年11月18日と19日です。Claude Code は利用者の設定と記憶を読み込まない設定(--setting-sources project)で起動しました。Codex CLI は推論の設定(reasoning effort)を medium にしています。GLM-5.3-Flash は編集部が利用している社内のサーバーで動かしました。この環境は外部で同じように再現できません。GLM-5.3-Flash は出力の上限を32,768トークンにしました(既定は8,192)。温度(出力のばらつきを決める設定)など、ほかの生成の設定は各ツールの既定値です。

GLM-5.3-Flash の実行には DeepSeek Harness を使いました。DeepSeek が公開しているエージェントの実行環境で、MIT ライセンスです。

指示の文面

比べた 5 つの条件

条件追記した文
指示なし(共通の指示だけ)
一文あり- 不要なセカンダリラベルや説明を避ける。レイアウトに説明させる。
列挙の指示- 画面に補足の文を足す前に、配置・大きさ・余白・並び順で伝えられないかを先に考える。伝えられるなら文を足さない。
- 足さない物: 見出しの下のサブタイトル、カッコ書きの注釈、節の上の小さなラベル、カードや項目ごとの説明文、ボタンや入力欄の下の補足、数字の横の言い換え。
- 残す物: 入力欄の見えるラベル、ボタンの名前(アイコンだけにしない)、エラーと確認の文、空の状態の案内、取り消せない操作の説明。
判断基準の指示- 画面に補足の文を足す前に、配置・大きさ・余白・並び順で伝えられないかを先に考える。伝えられるなら文を足さない。
- 足さない物: 見出しの下のサブタイトル、見出しや操作の言い換え、節の上の小さなラベル、カードや項目ごとの説明文、操作の仕方の説明、カッコ書きの注釈。
- 残す物: 読まないと利用者が判断や操作を誤る文。入力欄の見えるラベルと必須の印、ボタンの名前(アイコンだけにしない)、金額の条件(税込か税抜か・単位・請求の周期)、数字の定義と期間、同意や規約への案内、保存・送信・エラーの状態、空の状態の案内、取り消せない操作の結果。
- 迷ったら「この文を消すと、利用者は何を誤るか」で決める。答えが無ければ消す。
言い換え限定の指示- 見出し・操作・設定値を言い換えただけの文は書かない。当たる型: 見出しの下の「ここでは〜を設定できます」、選んだ値の読み上げ、宣伝の一言、節の上の小さな英字や区分のラベル。
- 条件・期限・金額・上限・取り消せるかどうか・誰に見えるか・押した後に起きることは、操作の前に見える所へ書く。エラーが出てから初めて知らせる作りにしない。
- 削るのは 1 行目の型だけにする。それ以外の文は、量を減らす対象にしない。
共通の指示は、日本語・1 ファイルの HTML・幅 1280px と 390px で崩れない・色と書体は用意した方針の値・実在の製品として出せる水準、の 5 点。Claude Code には CLAUDE.md、Codex CLI と DeepSeek Harness には AGENTS.md として置いた。

作業フォルダには指示ファイルのほかに、色・書体・余白の値だけを書いた最小のデザイン方針(DESIGN.md)を置きました。再現資料(JSON) に、共通の指示と5条件の差分、最小のデザイン方針、12種類の依頼文、伏せた比較と必要な情報の判定の問い、見直しの依頼文、各画面の確認項目の全文を収録しています。

依頼文

基本の4画面は画面の種類と要素だけを書いた依頼文です。通知設定の依頼文を示します。

チームで使うタスク管理アプリの、通知設定の画面を作ってください。メール・アプリ内・Slack の 3 つの通知先があり、通知の種類(担当になった・期限が近い・コメントが付いた・週のまとめ)ごとに入・切を選べます。通知を止める時間帯も決められます。

条件つき画面・第1群と条件つき画面・第2群は、利用者に伝える条件を依頼文に書きました。経費の申請の依頼文を示します。

社内の経費精算の申請画面。出張交通費を入力して申請する。1件3万円を超える場合は領収書の画像添付が必須。申請期限は発生月の翌月5日で、期限後は精算できない。承認者は所属部長で、承認前なら取り下げ可能、承認後は経理にのみ訂正を依頼できる。金額と日付、訪問先を入力し、領収書の画像を添付する欄と申請ボタンを置く。この画面を作ってください。

文字数の数え方

生成した HTML を Chromium(Playwright 1.48.0)で幅1280pxで開き、初期表示で見える文字を空白を除いて数えました。文字数は見出し・操作(ボタンや入力欄のラベル)・説明・表やグラフに分けています。「説明の文」は小さい文字や薄い色で書いた補足のうち、かなと漢字が8字以上のものと、句点のある本文です。

説明の文の比は比較する画面の字数を指示なしの字数で割り、補正は加えていません。指示なしの説明の文が0字の組は比から除きます(基本の4画面の一文ありでは該当0組)。

画面内の日付・時刻によって計測時の数字の字数が変わるため、後に取り直した記録と集計に使った文字数には、基本の4画面の160行中4行で最大6字の違いがありました(中央値は変わりません)。見直しで文が変わったかは、初期表示で見える文から数字を除いて比較しました。HTML が変わっても見える文が同じ画面は「初期表示の文が変わらなかった画面」に入ります。

生成の回ごとの値

基本の4画面の判定 1 は、合算でだけ指示なしが一文ありより上位だった

比較・測定項目生成の1回目生成の2回目合算
伏せた比較:基本の4画面・判定 1
指示なし 対 一文あり
12 対 4(16 組)
p = 0.077
差があるとは言えない
12 対 4(16 組)
p = 0.077
差があるとは言えない
24 対 8(32 組)
p = 0.007
指示なしが上位だった
伏せた比較:基本の4画面・判定 1
指示なし 対 列挙の指示
13 対 3(16 組)
p = 0.021
指示なしが上位だった
12 対 4(16 組)
p = 0.077
差があるとは言えない
25 対 7(32 組)
p = 0.002
指示なしが上位だった
伏せた比較:基本の4画面・判定 1
一文あり 対 列挙の指示
10 対 6(16 組)
p = 0.454
差があるとは言えない
10 対 6(16 組)
p = 0.454
差があるとは言えない
20 対 12(32 組)
p = 0.215
差があるとは言えない
伏せた比較:基本の4画面・判定 2
指示なし 対 一文あり
13 対 3(16 組)
p = 0.021
指示なしが上位だった
15 対 1(16 組)
p は 0.001 未満
指示なしが上位だった
28 対 4(32 組)
p は 0.001 未満
指示なしが上位だった
伏せた比較:基本の4画面・判定 2
指示なし 対 言い換え限定の指示
12 対 4(16 組)
p = 0.077
差があるとは言えない
10 対 6(16 組)
p = 0.454
差があるとは言えない
22 対 10(32 組)
p = 0.050
差があるとは言えない
伏せた比較:基本の4画面・判定 2
一文あり 対 言い換え限定の指示
6 対 10(16 組)
p = 0.454
差があるとは言えない
4 対 12(16 組)
p = 0.077
差があるとは言えない
10 対 22(32 組)
p = 0.050
差があるとは言えない
伏せた比較:条件つき画面・第2群
指示なし 対 一文あり
8 対 8(16 組)
p = 1.000
差があるとは言えない
6 対 10(16 組)
p = 0.454
差があるとは言えない
14 対 18(32 組)
p = 0.597
差があるとは言えない
伏せた比較:条件つき画面・第2群
指示なし 対 言い換え限定の指示
6 対 10(16 組)
p = 0.454
差があるとは言えない
7 対 9(16 組)
p = 0.804
差があるとは言えない
13 対 19(32 組)
p = 0.377
差があるとは言えない
伏せた比較:条件つき画面・第2群
一文あり 対 言い換え限定の指示
6 対 10(16 組)
p = 0.454
差があるとは言えない
9 対 7(16 組)
p = 0.804
差があるとは言えない
15 対 17(32 組)
p = 0.860
差があるとは言えない
伏せた比較:判定の偏りを調べる比較
説明の文を消した画面 対 元の画面
0 対 16(16 組)
p は 0.001 未満
元の画面が上位だった
0 対 16(16 組)
p は 0.001 未満
元の画面が上位だった
0 対 32(32 組)
p は 0.001 未満
元の画面が上位だった
伏せた比較:判定の偏りを調べる比較
説明の文を消した画面 対 言い換えを足した画面
11 対 5(16 組)
p = 0.210
差があるとは言えない
13 対 3(16 組)
p = 0.021
説明の文を消した画面が上位だった
24 対 8(32 組)
p = 0.007
説明の文を消した画面が上位だった
伏せた比較:判定の偏りを調べる比較
元の画面 対 言い換えを足した画面
16 対 0(16 組)
p は 0.001 未満
元の画面が上位だった
16 対 0(16 組)
p は 0.001 未満
元の画面が上位だった
32 対 0(32 組)
p は 0.001 未満
元の画面が上位だった
伏せた比較:見直しの段
指示なし 対 一文あり
18 対 14(32 組)
p = 0.597
差があるとは言えない
14 対 18(32 組)
p = 0.597
差があるとは言えない
32 対 32(64 組)
p = 1.000
差があるとは言えない
伏せた比較:見直しの段
指示なし 対 見直した画面
11 対 21(32 組)
p = 0.110
差があるとは言えない
16 対 16(32 組)
p = 1.000
差があるとは言えない
27 対 37(64 組)
p = 0.260
差があるとは言えない
伏せた比較:見直しの段
一文あり 対 見直した画面
12 対 20(32 組)
p = 0.215
差があるとは言えない
17 対 15(32 組)
p = 0.860
差があるとは言えない
29 対 35(64 組)
p = 0.532
差があるとは言えない
文字数:基本の4画面
一文あり 対 指示なし
0.68 倍(16 組)
減少 16・増加 0・同数 0
p は 0.001 未満
指示なしより少なかった
0.68 倍(16 組)
減少 15・増加 1・同数 0
p は 0.001 未満
指示なしより少なかった
0.68 倍(32 組)
減少 31・増加 1・同数 0
p は 0.001 未満
指示なしより少なかった
文字数:基本の4画面
列挙の指示 対 指示なし
0.50 倍(16 組)
減少 16・増加 0・同数 0
p は 0.001 未満
指示なしより少なかった
0.53 倍(16 組)
減少 15・増加 1・同数 0
p は 0.001 未満
指示なしより少なかった
0.51 倍(32 組)
減少 31・増加 1・同数 0
p は 0.001 未満
指示なしより少なかった
文字数:基本の4画面
判断基準の指示 対 指示なし
0.62 倍(16 組)
減少 14・増加 2・同数 0
p = 0.004
指示なしより少なかった
0.64 倍(16 組)
減少 16・増加 0・同数 0
p は 0.001 未満
指示なしより少なかった
0.62 倍(32 組)
減少 30・増加 2・同数 0
p は 0.001 未満
指示なしより少なかった
文字数:基本の4画面
言い換え限定の指示 対 指示なし
1.77 倍(16 組)
減少 1・増加 14・同数 1
p は 0.001 未満
指示なしより多かった
1.69 倍(16 組)
減少 0・増加 16・同数 0
p は 0.001 未満
指示なしより多かった
1.77 倍(32 組)
減少 1・増加 30・同数 1
p は 0.001 未満
指示なしより多かった
文字数:条件つき画面・第2群
一文あり 対 指示なし
0.67 倍(16 組)
減少 14・増加 2・同数 0
p = 0.004
指示なしより少なかった
0.70 倍(16 組)
減少 14・増加 2・同数 0
p = 0.004
指示なしより少なかった
0.68 倍(32 組)
減少 28・増加 4・同数 0
p は 0.001 未満
指示なしより少なかった
文字数:条件つき画面・第2群
言い換え限定の指示 対 指示なし
1.14 倍(16 組)
減少 6・増加 10・同数 0
p = 0.454
差があるとは言えない
1.04 倍(16 組)
減少 6・増加 10・同数 0
p = 0.454
差があるとは言えない
1.06 倍(32 組)
減少 12・増加 20・同数 0
p = 0.215
差があるとは言えない
必要な情報:条件つき画面・第1群・Claude Sonnet 5.5
指示なし 対 一文あり
33/34 対 27/34 項目
少ない 4・多い 0・同数 4 画面
p = 0.125
差があるとは言えない
32/34 対 28/34 項目
少ない 2・多い 1・同数 5 画面
p = 1.000
差があるとは言えない
65/68 対 55/68 項目
少ない 6・多い 1・同数 9 画面
p = 0.125
差があるとは言えない
必要な情報:条件つき画面・第1群・Claude Sonnet 5.5
指示なし 対 列挙の指示
33/34 対 25/34 項目
少ない 3・多い 0・同数 5 画面
p = 0.250
差があるとは言えない
32/34 対 25/34 項目
少ない 3・多い 1・同数 4 画面
p = 0.625
差があるとは言えない
65/68 対 50/68 項目
少ない 6・多い 1・同数 9 画面
p = 0.125
差があるとは言えない
必要な情報:条件つき画面・第1群・Claude Sonnet 5.5
指示なし 対 判断基準の指示
33/34 対 23/34 項目
少ない 4・多い 0・同数 4 画面
p = 0.125
差があるとは言えない
32/34 対 26/34 項目
少ない 3・多い 0・同数 5 画面
p = 0.250
差があるとは言えない
65/68 対 49/68 項目
少ない 7・多い 0・同数 9 画面
p = 0.016
指示なしより少なかった
必要な情報:条件つき画面・第1群・Claude Opus 5.5
指示なし 対 一文あり
33/34 対 26/34 項目
少ない 4・多い 0・同数 4 画面
p = 0.125
差があるとは言えない
32/34 対 28/34 項目
少ない 2・多い 1・同数 5 画面
p = 1.000
差があるとは言えない
65/68 対 54/68 項目
少ない 6・多い 1・同数 9 画面
p = 0.125
差があるとは言えない
必要な情報:条件つき画面・第1群・Claude Opus 5.5
指示なし 対 列挙の指示
33/34 対 24/34 項目
少ない 4・多い 0・同数 4 画面
p = 0.125
差があるとは言えない
32/34 対 25/34 項目
少ない 3・多い 1・同数 4 画面
p = 0.625
差があるとは言えない
65/68 対 49/68 項目
少ない 7・多い 1・同数 8 画面
p = 0.070
差があるとは言えない
必要な情報:条件つき画面・第1群・Claude Opus 5.5
指示なし 対 判断基準の指示
33/34 対 24/34 項目
少ない 3・多い 0・同数 5 画面
p = 0.250
差があるとは言えない
32/34 対 26/34 項目
少ない 3・多い 0・同数 5 画面
p = 0.250
差があるとは言えない
65/68 対 50/68 項目
少ない 6・多い 0・同数 10 画面
p = 0.031
指示なしより少なかった
必要な情報:条件つき画面・第2群・Claude Sonnet 5.5
指示なし 対 一文あり
66/72 対 65/72 項目
少ない 2・多い 1・同数 13 画面
p = 1.000
差があるとは言えない
68/72 対 65/72 項目
少ない 2・多い 2・同数 12 画面
p = 1.000
差があるとは言えない
134/144 対 130/144 項目
少ない 4・多い 3・同数 25 画面
p = 1.000
差があるとは言えない
必要な情報:条件つき画面・第2群・Claude Sonnet 5.5
指示なし 対 言い換え限定の指示
66/72 対 72/72 項目
少ない 0・多い 2・同数 14 画面
p = 0.500
差があるとは言えない
68/72 対 72/72 項目
少ない 0・多い 3・同数 13 画面
p = 0.250
差があるとは言えない
134/144 対 144/144 項目
少ない 0・多い 5・同数 27 画面
p = 0.063
差があるとは言えない
必要な情報:条件つき画面・第2群・Claude Opus 5.5
指示なし 対 一文あり
66/72 対 62/72 項目
少ない 4・多い 1・同数 11 画面
p = 0.375
差があるとは言えない
69/72 対 64/72 項目
少ない 2・多い 1・同数 13 画面
p = 1.000
差があるとは言えない
135/144 対 126/144 項目
少ない 6・多い 2・同数 24 画面
p = 0.289
差があるとは言えない
必要な情報:条件つき画面・第2群・Claude Opus 5.5
指示なし 対 言い換え限定の指示
66/72 対 71/72 項目
少ない 1・多い 2・同数 13 画面
p = 1.000
差があるとは言えない
69/72 対 72/72 項目
少ない 0・多い 2・同数 14 画面
p = 0.500
差があるとは言えない
135/144 対 143/144 項目
少ない 1・多い 4・同数 27 画面
p = 0.375
差があるとは言えない
必要な情報:見直しの段・Claude Sonnet 5.5
指示なし 対 一文あり
66/72 対 64/72 項目
少ない 3・多い 1・同数 12 画面
p = 0.625
差があるとは言えない
68/72 対 65/72 項目
少ない 2・多い 2・同数 12 画面
p = 1.000
差があるとは言えない
134/144 対 129/144 項目
少ない 5・多い 3・同数 24 画面
p = 0.727
差があるとは言えない
必要な情報:見直しの段・Claude Sonnet 5.5
指示なし 対 見直した画面
66/72 対 66/72 項目
少ない 0・多い 0・同数 16 画面
検定できない(差のある組が 0)
差があるとは言えない
68/72 対 69/72 項目
少ない 0・多い 1・同数 15 画面
p = 1.000
差があるとは言えない
134/144 対 135/144 項目
少ない 0・多い 1・同数 31 画面
p = 1.000
差があるとは言えない
必要な情報:見直しの段・Claude Opus 5.5
指示なし 対 一文あり
66/72 対 63/72 項目
少ない 4・多い 1・同数 11 画面
p = 0.375
差があるとは言えない
69/72 対 64/72 項目
少ない 2・多い 1・同数 13 画面
p = 1.000
差があるとは言えない
135/144 対 127/144 項目
少ない 6・多い 2・同数 24 画面
p = 0.289
差があるとは言えない
必要な情報:見直しの段・Claude Opus 5.5
指示なし 対 見直した画面
66/72 対 66/72 項目
少ない 0・多い 0・同数 16 画面
検定できない(差のある組が 0)
差があるとは言えない
69/72 対 69/72 項目
少ない 0・多い 0・同数 16 画面
検定できない(差のある組が 0)
差があるとは言えない
135/144 対 135/144 項目
少ない 0・多い 0・同数 32 画面
検定できない(差のある組が 0)
差があるとは言えない
伏せた比較は左・右を上位にした多数決の組数、文字数は指示なしを 1 とした倍率の中央値。必要な情報は初期表示で見える項目/確認した項目と、指示なしより少ない・多い・同数の画面数。検定は差のある組・画面だけを使う両側の符号検定。必要な情報の回別の検定は保存済みの判定記録から計算した。合算の倍率は全組の中央値で、回別の中央値の平均ではない。表示が p = 0.050 でも有意とは限らない。

伏せた比較

同じ組の3枚のスクリーンショット(幅1280px)を、X・Y・Z の名前にして順番を入れ替え、判定役に渡しました。判定役には画面の依頼内容と次の項目を渡しています。基本の4画面の依頼内容は要約した文です。問いの全文と要約文は再現資料に収録しています。

  • 文を読み込まなくても、何の画面で、どこを操作すると何が起きるかが分かるか(1〜5)
  • 無くても困らない文(読まれない補足・言い換え・注釈・飾りの小さなラベル)を、画面の文のまま抜き出す(最大8個)
  • 無くて困る文やラベル(何の欄か分からない・押すと何が起きるか分からない・数字の意味が分からない)を書く
  • 実在の製品の画面として出せる水準か(1〜5)
  • 3枚の順位

各比較は、3モデル中2モデル以上が上位にした画面を、その組の多数決の結果としました。同数はありません。判定 1(3 枚目は列挙の指示)と判定 2(3 枚目は言い換え限定の指示)は、画面を生成した回とは別の区分です。

基本の4画面は生成の1回目・2回目の計32組、条件つき画面・第2群も生成の1回目・2回目の計32組を集計しました。判定の偏りを調べる比較の多数決は生成の1回目・2回目の計32組、見直しの段の多数決は生成の1回目・2回目の計64組です。いずれも3モデルが全組を判定しました。見直しの必要な情報も生成の1回目・2回目を2モデルで判定し、文字数には生成の1回目・2回目の64画面を使いました。

Claude の2モデルの見直しの一部は、利用上限で止まったため同じ条件で作り直しました。

伏せた比較は、3 モデルの多数決を組ごとに数えて検定した

比較組数左が上位・右が上位検定結論
基本の4画面・判定 1:指示なしと一文あり32 組24・8p = 0.007指示なしが上位だった
基本の4画面・判定 1:指示なしと列挙の指示32 組25・7p = 0.002指示なしが上位だった
基本の4画面・判定 2:指示なしと一文あり32 組28・4p は 0.001 未満指示なしが上位だった
基本の4画面・判定 2:指示なしと言い換え限定の指示32 組22・10p = 0.050差があるとは言えない
条件つき画面・第2群:指示なしと一文あり32 組14・18p = 0.597差があるとは言えない
条件つき画面・第2群:指示なしと言い換え限定の指示32 組13・19p = 0.377差があるとは言えない
基本の4画面と条件つき画面・第2群:指示なしと見直した画面64 組27・37p = 0.260差があるとは言えない
数は「3 モデル中 2 モデル以上が左を上位にした組・右を上位にした組」。この 2 つの組数で両側の符号検定を行う。丸める前の p が 0.05 未満の時だけ「上位だった」、それ以外は「差があるとは言えない」と書いた。この表に載せた合算の検定は 7 つ。多重比較の補正(多数の検定による偶然の有意差を抑える調整)はしていない。

必要な情報の判定

判定役は Claude Sonnet 5.5・Claude Opus 5.5 です。画面ごとに依頼文に書いた条件から4〜5項目を選びました(例:経費の申請では「3万円超は領収書の添付が必須と分かる」「申請期限は翌月5日で、過ぎると精算できないと分かる」「承認者は所属部長と分かる」「承認前は取り下げ可、承認後は経理に訂正依頼と分かる」)。初期表示の文と HTML を渡し、各項目を「初期表示で見える」「操作の後に出る」「どこにも無い」に分類させました。言い換えや、具体的な日付・金額への計算し直しは、同じ内容が伝われば「初期表示で見える」に数えます。

必要な情報が見えないとした判定には、誤りもあった

判定役の判定抽出した数照合の結果
初期表示で見える12 項目12 項目が正しい
操作の後に出る・どこにも無い21 項目誤り 4 項目。厳しすぎる判定 3 項目(期限は見えるが、過ぎた時の扱いだけが見えないもの)
判定役 Claude Sonnet 5.5 の判定から 33 項目を無作為に抽出し、Claude Fable 5.2 が初期表示の文と HTML を照合。誤りが「見えない」の側に偏っていたため、初期表示で見える項目数は実際より少なくなる可能性がある。指示間の比較では、この偏りが指示によらないと仮定した。

編集部の作業

依頼文と項目の作成、測定用スクリプトの作成、集計、判定役の確認には Claude Fable 5.2 を使いました。スクリーンショットと判定役の理由は編集部が抜き取りで読みましたが、416画面のすべてを人が読んではいません。

この実測表で分からないこと

  • 人の利用者の評価:モデルの判定を使ったため、上位だった画面を人の利用者も使いやすいと感じるかは分かりません。
  • 判定役と作り手の重なり:判定役の3モデルはすべて作り手にも含まれ、GPT-6 Astra も同様です。3票中2票は Claude です。自分の系統のモデルが作った画面を高く付ける偏りの向き・大きさは測っていません。基本の4画面の判定 1 では、作り手が Claude の画面ほど指示なしを上位にした組が多く、この構成による偏りで説明できる可能性があります(推定)。
  • 必要な情報の判定の誤り:判定役 Claude Sonnet 5.5 が「見えない」とした21項目を確認すると、4項目は見えていました。判定に誤りがあるため、初期表示で見える項目数を過小評価する可能性があります。
  • 画面の種類による違い:12種類の依頼文は編集部が用意したもので、実際の製品の画面の分布を代表していません。基本の4画面と条件つき画面・第2群で結果が異なる理由も、個別に検証していません。
  • モデル別・画面別の優劣:各区分の組数が少ないため、モデル間・画面間の差は結論にしていません。画面別の組数は図に記載しました。
  • 検定の数:伏せた比較の主な検定を7つ並べ、さらに生成の回別・判定役別にも検定しています。多重比較の補正(多数の検定による偶然の有意差を抑える調整)はしていないため、個々の有意差は探索的な結果です。
  • 別の指示文への適用:投稿の一文と編集部が直した3つの指示に限定したため、共通の指示ファイルやデザイン方針を変えた場合の結果までは分かりません。
  • 生成と判定の回数:生成は2回に限られるため、さらに生成を繰り返した場合に同じ結論になるかは分かりません。
  • GLM-5.3-Flash の失敗を含む品質:HTML を出力せずに終了した回はやり直しました。画面を生成できた回だけを集計したため、失敗も含めた品質を示す結果ではありません。

よくある質問

この一文を AGENTS.md や CLAUDE.md に入れるべきですか。

編集部の測定では、追記して UI が良くなったと言える結果は得られませんでした。基本の4画面(通知設定・売上ダッシュボード・登録フォーム・料金ページ)の文字数は指示なしの0.68倍に減りました(32組中31組)。作り方を伏せた比較では指示なしが上位でした。条件つき画面・第2群(再配達の依頼・レンタカーの比較・共有フォルダの権限・プランの解約確認)では差があるとは言えません。導入前に自社の画面を指示の有無で作り、条件・期限・金額の表示を確認するのが編集部の提案です。

文字数はどれくらい減りますか。

基本の4画面の初期表示の文字数は指示なしを1とすると中央値で0.68倍でした(4モデル×4種類の画面×生成2回の計32組のうち31組で減少)。説明の文の文字数に限ると0.23倍です。モデル別では Claude Opus 5.5 が0.57倍、GLM-5.3-Flash が0.54倍、Claude Sonnet 5.5 が0.71倍、GPT-6 Astra(Codex CLI)が0.82倍でした。ただし、GPT-6 Astra の文字数は検定では差があるとは言えません。

作り手が Claude と GPT-6 Astra(Codex CLI)で結果は違いますか。

基本の4画面の判定 1(3 枚目は列挙の指示)で、3モデル中2モデル以上が指示なしを上位にした組は、作り手が Claude Sonnet 5.5 の場合は8組中8組、Claude Opus 5.5 は8組中7組、GLM-5.3-Flash は8組中5組でした。作り手が GPT-6 Astra の場合は、指示なしを上位にした組が4組、一文ありを上位にした組が4組で、差があるとは言えません。各モデルの組数は少なく、モデル間の差を検定した結果ではありません。

画面の文字数を減らしたい時は、どうすればよいですか。

出来上がった画面を同じモデルに見せて、見出し・操作・設定値を言い換えただけの文だけを削除する方法も測定しました。生成の1回目・2回目を合わせると、初期表示で見える必要な情報の項目数は見直しの前後で差があるとは言えません。文字数は指示なしの0.95倍で、削減幅は小さい結果です。伏せた比較では差があるとは言えません。編集部は削除する文を具体的に指定し、見直した画面でも条件の表示を確認する方法を候補にしています。

評価は人がしましたか。

伏せた比較の判定役は Claude Sonnet 5.5・Claude Opus 5.5・GPT-6 Astra の3モデルです。必要な情報の判定役は Claude Sonnet 5.5・Claude Opus 5.5 の2モデルです。3モデルはいずれも作り手に含まれ、GPT-6 Astra も例外ではありません。文字数の多い画面を高く評価する偏りは、編集部が言い換えを足した画面を使って確認しました。3モデルの多数決では元の画面が上位でした。人の利用者の評価との一致は測定していません。

関連する取り組み

このテーマのガイド 2件