「あなたはゲームデザイナーです」は効くのか

何を確かめるのか：品質ではなく視点の配分

「効くのか」という問いは曖昧です。次の三つに分けると、測れる形になります。

1. 役割の一行で、提案が触れる話題の配分は変わるか。
2. 変わるとして、その差は同じ条件で何度か試したときのばらつきより大きいか。
3. 配分の変化は、役割そのものによるのか、それとも「何を書いてほしいか」という具体的な指示によるのか。

この記事の中心は1と3です。「ゲームデザイナー」と名乗らせると提案がプレイヤー体験寄りになる、という期待は自然ですが、実際には役割より「最初の30秒で何をするかを書いてください」のような指示のほうが効いている可能性もあります。役割と指示を切り離して比べることで、一行の正体が見えてきます。

出来の良し悪しは扱いません。「面白そう」という評価は読む人の好みに左右され、実験の軸に使うと結論が自分の好みに引きずられます。

準備するもの

固定する依頼文

条件間で変えるのは冒頭の一行だけにして、本体の依頼文は完全に同じにします。例として次の文を使います。

ブラウザで遊べる、1回3分ほどの小さなゲームのアイデアを3つ提案してください。テーマは「雨の日」です。

アソバースに投稿する作品を想定するなら、「単一のHTMLで動き、サーバーを使わない」という制約を本体に加えても構いません。その場合も全条件で同じ文面を使います。

比べる5条件

• A、冒頭に足す一行：なし、見たいこと：基準
• B、冒頭に足す一行：「あなたはゲームデザイナーです。」、見たいこと：役割だけの効果
• C、冒頭に足す一行：「あなたは経験豊富なウェブ開発エンジニアです。」、見たいこと：別の役割との対比
• D、冒頭に足す一行：「あなたはゲームデザイナーです。提案ごとに、プレイヤーが最初の30秒で何をするかを書いてください。」、見たいこと：役割＋具体指示
• E、冒頭に足す一行：「提案ごとに、プレイヤーが最初の30秒で何をするかを書いてください。」、見たいこと：具体指示だけ

DとEの差が「役割を足したことの効果」、EとAの差が「指示の効果」にあたります。この対がこの実験の要です。

そのほか

• 同じAI、同じモデル、同じ設定。設定を選べる環境なら、実験中は動かしません。
• 回答を貼り付ける記録用の表計算ファイルまたは紙。
• 各条件5回、合計25回分の、毎回新しく始める会話。

手順

1. 5条件の入力文を、あらかじめ文書にすべて書き出します。実験中に書き直さないためです。
2. 実行順を決めます。A、B、C、D、Eの順に5回ずつ流すのではなく、25回の順番をくじなどでばらします。時間帯や使い方の癖が特定の条件に偏らないようにするためです。
3. 毎回、新しい会話を開始して入力文を貼り付けます。前の回答が文脈に残る状態で続けないでください。
4. 返ってきた回答を、条件名と回番号（例：B-3）を付けて保存します。再生成や言い直しはしません。1回目の出力をそのまま使います。
5. 25回が終わったら、条件名を伏せた状態で回答を読めるようにします。回答に番号だけを振った別ファイルを作る方法が簡単です。
6. 伏せたまま、次の節の方法で文ごとにタグを付けます。付け終わってから条件名を戻します。

記録の取り方：文に視点タグを付ける

各回答には提案が3つ入っているはずです。提案ごとの説明を1文ずつ区切り、その文が主に何を語っているかを次の6種類から1つ選びます。

• ①、視点：プレイヤー体験、例となる語り方：感じること、気持ち、情景、最初の印象
• ②、視点：ルール・操作、例となる語り方：何をどう操作するか、勝敗や得点の決まり
• ③、視点：ループ・進行、例となる語り方：繰り返しの流れ、段階的な変化、再挑戦の動機
• ④、視点：難度・バランス、例となる語り方：易しさ・難しさの調整、失敗の許容
• ⑤、視点：実装・技術、例となる語り方：使う技術、描画、処理の作り方、作りやすさ
• ⑥、視点：公開・届け方、例となる語り方：誰に遊んでもらうか、紹介の仕方、共有

1文に複数の視点が混ざる場合は、主題を一つだけ選びます。迷う文は「判断保留」の列に入れ、後で数だけ報告します。

記録は次のような表にします。1行が1回答で、列に各タグの文数を入れます。

回答ID ／ 条件 ／ ① ／ ② ／ ③ ／ ④ ／ ⑤ ／ ⑥ ／ 保留 ／ 総文数

比較に使うのは、文数そのものではなく割合です。条件によって回答が長くなったり短くなったりするため、各タグの文数を総文数で割った値を使います。5回分の平均と、最小・最大も並べておきます。この最小・最大の幅が、次の節の「ばらつき」です。

可能なら、1週間ほど置いてからもう一度、全体の半分でもタグ付けをやり直します。前回と自分の判定がどのくらい一致するかを見ると、タグの基準自体の曖昧さも把握できます。

結果の読み方：判断の基準を先に決める

結果を見る前に、次のように判断の基準を決めておきます。見てから基準を作ると、都合のよい読み方を選んでしまいがちです。

基準1：差がばらつきを超えているか。 AとBの割合の平均が違っても、同じ条件内の回ごとの幅がそれ以上に広ければ、差があるとは言えません。条件ごとの最小〜最大の範囲がほとんど重ならない場合に限り、「違いがありそうだ」と読みます。5回では確実な判断はできないので、境界的なら回数を10回に増やします。

基準2：どのタグが動いたか。 考えられる読み方は次のとおりです。

• BがAと同程度なら、役割の一行だけでは視点が動いていない可能性があります。
• Bで①②③が増え、Cで⑤が増えるなら、役割が視点の向きに作用していると読めます。
• BとCの違いが小さければ、役割名の中身より「役割を与えた」こと自体の効果も疑えます。

基準3：役割か指示か。 DとEを比べます。

• DがEと似ていて、EがAと違うなら、動かしているのは指示です。
• DがEと違い、さらにBもAと違うなら、役割にも固有の効果があると考えられます。
• 動いたのがDだけなら、役割と指示が組み合わさったときにだけ効いている可能性があります。

Eで①が増えるのは、「最初の30秒」を書かせているので当然です。見るべきなのは、指示が直接関係しない②〜⑥まで動いたかどうかです。

結果が出たら、「自分の用途ではこの一行を足す／足さない」という判断を、タグの割合の表を根拠に一文で書き残すと、後から見直せます。

起こりやすい誤り

• 同じ会話で続ける。 前の回答が文脈になり、条件の効果が混ざります。毎回新しい会話にしてください。
• 条件名を見ながらタグ付けする。 「デザイナーだから体験の話が多いはず」という期待が判定に入り込みます。必ず伏せて採点してください。
• 好みで取捨選択する。 面白くない回答を外す、再生成して良い回答を採るといった操作は、分布を歪めます。
• 本体の依頼文に視点の手がかりを入れる。 「遊んで楽しい」「作りやすい」といった語を入れると、役割の効果が見えにくくなります。
• 回答の長さの差を見落とす。 長い回答は全タグの文数が増えます。割合で比べてください。
• 環境が途中で変わる。 モデルの版や設定が実験の途中で変わると、条件の差と区別できなくなります。実験は短い期間で終わらせ、使った環境と日付を記録してください。
• 一つのテーマだけで結論を出す。 「雨の日」で出た傾向が、別のテーマにも当てはまるとは限りません。余裕があればテーマを変えて繰り返します。

次の行動

まずAとBだけ、各5回の10回分から始めてください。タグ付けの基準と記録表が手元にできれば、C、D、Eの追加は同じ手順の繰り返しです。差が見えたら、その一行を実際のアイデア出しで使うかどうかを、表の割合を見て決めてみてください。

得られた提案から一つ選んで単一のHTMLで作り、アソバースに投稿してみるところまで進めば、視点の違いが「遊びとしての違い」になるかどうかも確かめられます。