「理由も書いて」を付けると、提案の質は上がるか

何を比べるのか：条件と「質」を先に決める

比べる条件は2つだけです。他の部分は一文字も変えません。

• 条件A：依頼文そのまま
• 条件B：依頼文の末尾に「それぞれ理由も書いてください」を足したもの

この2つ以外の違いが混ざると、一行の差とは言えなくなります。「理由も書いて」と同時に「具体的に」「丁寧に」などを足すのも避けます。

次に、「提案の質」を採点前に分解して決めます。曖昧なまま採点すると、読後の印象だけで点が決まってしまうからです。ここでは次の4観点を使います。

1. 制約適合：依頼に書いた制約（操作、規模、所要時間など）を破っていないか
2. 具体性：読んだ人が明日そのまま作業に入れる粒度か
3. 多様性：5案が互いに別の方向を向いているか（言い換えの重複がないか）
4. 検証可能性：その案が効いたかどうかを、遊んで確かめる方法が想像できるか

理由についてはもう一点、あらかじめ頭に置いておきます。AIが書く理由は、その案が出てきた内部の経緯を正確に記録したものとは限りません。案を出したあとに、もっともらしく組み立てた説明である可能性があります。理由が筋の通った文章であることと、その案が実際に良いことは別の話です。この記事の設計で理由の採点を案の採点と別にするのは、このためです。

準備するもの

題材を3つ決める

自作ゲームの実際の悩みから3つ選びます。制約を2〜3個、依頼文に明記できるものが向いています。たとえば次のようなものです。

• 題材1：難易度の上げ方（ステージ制のゲームで、後半に向けた変化のつけ方）
• 題材2：失敗とやり直しの設計（失敗条件、リトライまでの手間）
• 題材3：最初の30秒の遊ばせ方（説明文なしで操作を覚えてもらう流れ）

制約の例は、「操作は矢印キーとEnterのみ」「単独のHTMLで外部通信なし」「1プレイは3分以内」などです。アソバースへの投稿を想定しているなら、投稿はHTMLかZIPで、サーバー用コードは対象外という前提がそのまま制約として使えます。自分のゲームに合う制約に置き換えてください。

回数と環境を決める

各題材、各条件を3回ずつ実行します。3題材×2条件×3回で、合計18回です。1回だけの比較では、運のいい回と悪い回の差を、条件の差と見間違えます。同じ条件の中でどれだけばらつくかを見るために、3回は最低限必要です。

環境は次のとおり固定します。

• 毎回、新しい会話から始める（前の履歴を持ち込まない）
• 同じモデル、同じ設定で行う
• 18回分の実行順は、くじ引きなどでばらばらにする

記録シートを用意する

表計算ソフトで十分です。1行が1回の実行で、列は次のように作ります。

• ID、内容：実行ごとの通し番号（条件名は書かない）
• 題材、内容：1〜3
• 条件、内容：A／B（採点後に結合する）
• 案の文字数、内容：案本体だけの概算
• 理由の文字数、内容：Bのみ
• 4観点の点、内容：各1〜3点（後述）
• メモ、内容：気づいたこと

「条件」の列は採点が終わるまで見ないようにします。理由は次の節で説明します。

手順

1. 題材ごとに依頼文Aを書きます。形は「〜というゲームです。制約は〜です。〜の案を5つください。」とし、条件Bは末尾に1文足すだけにします。

例（題材1・条件A）：「矢印キーとEnterだけで遊ぶ、全10ステージのパズルゲームです。1ステージは1分程度です。後半に向けた難易度の上げ方を5案ください。」

例（題材1・条件B）：上の文の末尾に「それぞれ理由も書いてください。」を足します。

1. 18回分の実行順をくじで決め、新しい会話で1回ずつ送ります。同じ会話で続けて試すと、前の回答が次の回答に影響します。
2. 返答を、ID付きでそのまま保存します。条件Bの返答は、案本体と理由が混ざっているので、このあと分離します。
3. 条件Bの返答から理由の部分を取り除き、案本体だけを取り出します。条件Aの返答と同じ体裁（番号と短い説明）に揃えます。
4. 案本体だけを、IDだけ付けてシャッフルし、条件を伏せたまま第1段階の採点をします。
5. 第1段階がすべて終わってから、条件Bの返答は理由込みの全文に戻し、第2段階の採点をします。

手順4が、この実験の肝です。理由が付いた返答は、読み手に「考えてありそうだ」という印象を与えます。その印象を外して案本体だけを比べることで、案の中身の差を見ます。

採点：二段階で記録する

第1段階：案本体だけを採点する

条件を伏せた案本体を、4観点で1〜3点で採点します。基準は事前に書き出しておきます。

• 制約適合、3点：5案すべて制約内、2点：1〜2案が制約をはみ出す、1点：3案以上がはみ出す
• 具体性、3点：5案中4案以上がすぐ作業に入れる、2点：2〜3案が入れる、1点：1案以下
• 多様性、3点：5案が別の方向、2点：2案ほど似ている、1点：言い換えが多い
• 検証可能性、3点：遊んで確かめる方法が想像できる案が4つ以上、2点：2〜3つ、1点：1つ以下

「すぐ作業に入れる」の判断は、自分のゲームに当てはめて「何を作ればいいか」がわかるかどうかで行います。「緩急をつける」のように、作業に落ちない表現は数に入れません。

第2段階：理由を含めて採点する

条件Bに限り、元の全文で、次の2点を追加で採点します。条件Aには理由がないので、この2点は付きません。

• 理由の具体性：「プレイヤーが飽きにくいため」のような一般論だけなら1点、自分の題材の制約や構造に触れていれば3点
• 理由の検証可能性：その理由が正しいかどうかを、プレイテストで確かめる手がかりがあるか

さらに、理由の中から事実の主張を1つ以上拾い、自分で確かめます。「この仕組みは他の落ち物パズルでも使われている」のような主張は、思い込みで信じず、実在するかどうかを自分で調べます。確かめられないものは「未確認」と記録します。

結果の読み方

18回分の点を集計したら、まず条件ごと、題材ごとに平均を出します。次に見るのは、同じ条件内のばらつきです。3回の点が大きく散っているなら、A・Bの差がそれより小さい限り、差があるとは言えません。

読み取りの組み合わせは次のとおりです。

• Bが明確に高い、第2段階（理由込み）：Bがさらに高い、読み方：理由を求めたことで案の中身が変わった可能性が高い
• 差が小さい、第2段階（理由込み）：Bが高い、読み方：案は同じ水準で、理由が付いたぶん判断しやすくなった
• 差が小さい、第2段階（理由込み）：差も小さい、読み方：一行を足しても、この題材では効果が見えない
• Bが低い、第2段階（理由込み）：Bが高い、読み方：理由が案の弱さを覆っている可能性がある
• Bが低い、第2段階（理由込み）：Bも低い、読み方：理由を求めると、かえって案が窮屈になった可能性がある

文字数も見ます。Bのほうが案本体の文字数が増えていて、点も上がっているなら、「長いから良く見えた」という説明が成り立ちます。観点ごとの点を文字数で割る、あるいは文字数の近い回同士だけで比べると、この影響が薄まります。

観点別の差も見ます。たとえば、制約適合だけBが高く、多様性はむしろ下がっている場合は、「理由を書かせると制約を意識しやすいが、案が似通う」という方向の手がかりになります。ただし、18回ではあくまで手がかりであり、一般的な結論にはなりません。自分の題材と書き方での傾向として扱います。

理由の採点が低い場合は、次のどちらかを考えます。

• 理由が一般論で、案を支えていない：次の依頼では「この制約に即して理由を書いてください」と条件を変えて、別の実験にします
• 理由に事実誤認がある：案を採用する前に、必ず調べ直します

起こりやすい誤り

• 採点者が条件を知っている。「理由が付いているほうが丁寧だ」という印象が、点に混ざります。手順4と5の伏せ作業は省かないでください。
• 1回ずつで比べる。ばらつきと条件差を区別できません。
• 一行以外も変えてしまう。Bの文だけ言い回しを丁寧にする、題材の説明を補うなど、無意識の修正が入りがちです。文面は貼り付けで作ります。
• 同じ会話で続ける。2回目以降は、前の回答を踏まえて答えが変わります。
• 好みを質と取り違える。自分好みの案が上位になるのは当然です。採点基準は事前に書いておき、途中で動かしません。
• 理由を鵜呑みにする。理由が滑らかに書かれていても、事実とは限りません。第2段階で拾った事実の主張は、必ず確かめます。
• 題材が少なすぎる。1題材だけの結果は、その題材の話に留まります。3題材に分けるのは、そのためです。

次の行動

まず、手元のゲームの悩みを3つ選び、条件Aの依頼文を3本書いてみてください。条件Bはその末尾に一文を足すだけです。18回の実行と二段階の採点が終わったら、「案だけ」と「理由込み」の2つの平均を並べて眺めてみてください。差が出た観点、出なかった観点が、次に頼むときの書き方を決める手がかりになります。