同じお題でAIが作ったゲームと人が作ったゲームを、作り手を伏せて初見の人に遊んでもらう手順

何を比べるのかを先に決める

最初に、問いを三つに分けます。混ぜたままだと、結果の読み方が曖昧になるためです。

1. 推測：遊んだ人は作り手（AIか人か）を当てられるか。当てた人はどんな理由を挙げるか。
2. 行動：初見の人の動き（最初の操作までの時間、詰まる場所、自分から再挑戦するか）に差があるか。
3. 評価：質問に答えてもらった5段階の評価に、一貫した差があるか。

推測は印象、行動は観察、評価は自己申告です。性質が違うので、記録の欄も分けて持ちます。

ここで一つ大事なのは、この実験で分かるのは「そのお題・その作り手・その進め方」での傾向だけだという点です。AI一般と人一般の比較にはなりません。この前提を紙の一番上に書いておくと、後で結果を過大に読まずに済みます。

準備するもの

お題を一文で決める

お題は短く、判断の余地が少ないものを選びます。たとえば次のような形です。

• 「左右に動いて、上から落ちてくるものを30秒避けるゲーム」
• 「3×3の盤で、数字を小さい順に並べるゲーム」

仕様を細かく書きすぎると、どちらが作っても同じものになります。逆に曖昧すぎると、お題の解釈の差を作り手の差と取り違えます。「操作方法」「終わり方」「勝ち負けの有無」の3点だけを文で固定し、それ以外は作り手に任せると、差が出る余地と比較可能性のバランスが取れます。

作る側の条件をそろえる

AI版と人版で、次の条件を同じにします。

• 制作時間の上限（例：どちらも同じ時間枠）
• 提出形式（1つのHTMLファイル、外部ライブラリなし、外部通信なし）
• 入口の構成（タイトル画面を付けるか付けないか）
• 操作手段（キーボードのみ、またはタッチのみ）

なお、アソバースに投稿する場合の形式（直下のindex.html、20MiB以内など）に合わせておくと、後から公開したくなったときに作り直さずに済みます。ただし、この実験自体は投稿しなくても行えます。

手を入れる範囲を事前に決める

AIが出したものに、人がどこまで修正してよいかを先に決めます。たとえば「動かないときの修正だけ可」「見た目の調整は不可」のように線を引きます。線を引かないと、AI版が実質「人が仕上げたAI版」になり、比較の意味が変わります。決めた線は記録票の隅に書き残します。

見た目の手がかりをそろえる

作り手を匂わせる要素を、両方から消します。

• タイトル、ボタンの文言、説明文の文体
• ファイル名やブラウザのタブに出る名前
• 作者名やクレジット

タイトルは「ゲームA」「ゲームB」のように機械的なラベルにするか、同じ文字数・同じ調子の仮題を付けます。A・Bのどちらをどちらが作ったかは、割り当て表に別保管します。割り当て自体もコイントスなどで決め、「Aは常にAI」のような偏りを避けます。

アソバースの投稿画面にある「紹介文と遊び方を作成」を使う場合は、両方に同じ手順で使います。片方だけ使うと、紹介文の文体という別の変数が入ってしまいます。この実験では、紹介文を付けずに遊んでもらうほうが単純です。

遊んでもらう人を決める

初見の人とは、お題の内容と作り手の事情を知らない人です。ゲームを作る人ばかりに頼むと、「AIっぽい」という先入観で見る可能性が高くなります。ゲームを日常的に遊ぶ人と、そうでもない人の両方に声をかけると、反応の幅が見えます。人数は、傾向を確かめる目安として6〜10人程度から始めるのが現実的です。少人数で統計的な結論は出せないため、「次の仮説を立てる材料」として扱います。

手順：遊んでもらい、記録する

順番を入れ替える

先に遊ぶ方が有利になる（または不利になる）可能性があるので、順番は参加者ごとに入れ替えます。AB、BA、AB、BA……と交互にするだけで、順序の偏りを減らせます。次の最小のHTMLは、参加者数を入れると順序表を出します。

<!doctype html>
<meta charset="utf-8">
<title>順序表</title>
<input id="n" type="number" min="1" value="8">
<button id="go">表を作る</button>
<pre id="out"></pre>
<script>
document.getElementById("go").onclick = () => {
  const n = Number(document.getElementById("n").value);
  const lines = ["参加者, 1回目, 2回目"];
  for (let i = 1; i <= n; i++) {
    const ab = i % 2 === 1;
    lines.push(`${i}, ${ab ? "A" : "B"}, ${ab ? "B" : "A"}`);
  }
  document.getElementById("out").textContent = lines.join("\n");
};
</script>

表示された内容は、記録票にそのまま貼れます。

遊ぶ前の説明は最小限にする

伝えるのは「2つの小さなゲームを順に遊んでください。操作方法は画面を見て判断してください」程度です。「片方はAIが作りました」という情報は、遊び終えるまで伏せます。実施者が答えを知っていると、表情や相槌で漏れやすいので、遊んでいる間は画面を覗き込まず、口も出さないと決めておきます。

1人あたりの流れ

1. 1本目を、ゲームが終わるまで、または自分で止めるまで遊んでもらう（目安は数分以内）
2. 評価の質問に答えてもらう
3. 2本目も同様に遊び、質問に答えてもらう
4. 最後に「どちらが人の作ったものだと思うか」と、その理由を聞く
5. そこで初めて、実際の対応を伝える

自分から続けて遊びたがった場合は、止めずに回数を数えます。この「自発的な再挑戦」は、アンケートより正直な反応になりやすい指標です。

記録の取り方

記録は1プレイを1行にします。次のような欄を用意します。

• 参加者番号、内容：1, 2, 3…、単位・形式：数字
• ラベル、内容：A または B、単位・形式：文字
• 順番、内容：1本目／2本目、単位・形式：数字
• 最初の操作まで、内容：画面表示から最初の入力まで、単位・形式：秒（ストップウォッチ）
• 詰まった場所、内容：手が止まった箇所と本人の発言、単位・形式：短い文
• 不具合、内容：想定外の挙動があったか、単位・形式：あり／なし＋内容
• 自発的な再挑戦、内容：促さずに繰り返した回数、単位・形式：回

プレイ後の質問は、同じ文面を両方に使い、5段階（1〜5）で答えてもらいます。

• 何をすればよいか、すぐ分かった
• 操作の手触りが心地よかった
• もう一度遊びたいと思った

最後に自由記述で「印象に残った点」を1行だけ聞きます。質問を増やしすぎると、後半の答えが雑になるため、これくらいに絞ります。

作り手の推測は、「どちらが人の作品だと思うか」とその理由の2つを記録します。「自信の度合い」を5段階で付けてもらうと、あてずっぽうと確信を区別できます。

結果の読み方

結果を読む順番は、推測、行動、評価です。ここでは数値を示さず、判断の枠組みだけを挙げます。

推測の読み方

当てた人の割合だけを見ても決められません。人数が少ないと、偶然でも偏りが出るためです。見るべきは理由の中身です。

• 理由が「バグっぽい」「雑」など品質の差を指しているなら、判断材料は作り手というより完成度です。人版でも荒ければ同じ理由で疑われる可能性があります。
• 理由が「文言が丁寧」「見た目が整っている」など様式に向いているなら、手がかりを消し切れていなかったかを疑います。
• 理由がばらばらで、自信も低いなら、少なくともこの条件では、見分ける決め手がなかったことを示す材料になります。

行動と評価の読み方

行動と評価は、AとBの差の向きがそろっているかを見ます。

• 多くの参加者で同じ向きの差が出ている項目は、「違いが出る点」の候補です。
• 差の向きが参加者ごとにばらばらの項目は、「違いが出ない点」の候補です。
• 順番（1本目か2本目か）で差が説明できる場合は、作り手の差ではなく順序の影響です。1本目の評価が総じて高い、または低いかを確認します。

行動の欄（最初の操作までの時間、詰まった場所）と、評価の欄（分かりやすさ）が食い違う場合は、記録した理由の発言に戻ります。「すぐ分かった」と答えたのに最初の操作が遅い、といったずれは、質問の言葉の捉え方の違いかもしれません。

最後に、違いが出た点が1つでも見つかったら、次の実験にします。同じ点を狙って別のお題でやり直し、同じ向きの差が再び出るかを確かめます。1つのお題だけでは、お題の性質による差か作り手による差かを区別できません。

起こりやすい誤り

• ラベルや文言が作り手を示してしまう：タイトルの文体や説明の丁寧さが、両者でそろっていないと、推測の手がかりになります。
• AI版に人が手を入れすぎる：修正の範囲を事前に決めておかないと、何と何を比べたのか分からなくなります。
• 人版の作り手の腕前に結果が引きずられる：作り手が1人だけだと、個人差が混ざります。可能なら複数のお題、複数の作り手で繰り返します。
• 質問が誘導になる：「AIらしさを感じましたか」のような質問は、答えを先に決めてしまいます。「どちらが人の作品だと思うか」という聞き方に統一します。
• プレイ中に口を出す：ヒントや励ましは、片方のゲームの評価を押し上げます。
• 少人数の数字を結論にする：6〜10人の結果は、傾向の確認までにとどめます。

公開済みの作品には、プレイ回数やレビューの数字も付きます。ただしプレイ回数は作品の起動の回数で、人数ではありません。また、レビューは自由に書かれた評価で、ブラインドの条件で集めたものではありません。この実験の記録とは別物として扱います。

次の行動

お題を一文で決め、AI版と人版を同じ条件で用意するところから始めます。割り当て表と順序表を作り、まずは2〜3人に遊んでもらって、記録票の欄が足りているかを確かめます。欄が整ったら人数を増やし、違いが出た点と出なかった点を分けて書き留めます。