観察結果を作者以外に見せると、違う問題が見つかるのか：最初の30秒の記録で確かめる設計書

問いと準備：何を比べるのか

比べる対象は「同じ観察記録から作られた問題リスト」です。観察そのものを人に任せるのではなく、記録を読む段階を人に任せます。ここを混ぜると、何の差を見ているのか分からなくなります。

実験には二つの層があります。

• 第1層（観察）：プレイヤー役が、起動から30秒間遊ぶ様子を記録する。
• 第2層（読み）：その記録を作者と第三者がそれぞれ読み、問題リストを作る。

比較するのは第2層だけです。第1層の記録は全員に共通の素材として固定します。

準備するものは次のとおりです。

• 試作中でも構いませんので、ブラウザで開ける自作ゲームを1本用意します。HTMLをそのまま開く方法でも、アソバースの投稿画面にある「表示の確認」で動作を見る方法でも使えます。
• プレイヤー役を2〜3人。作者以外で、そのゲームを一度も遊んだことがない人にします。
• 読み手役を2〜3人。作者以外で、できればプレイヤー役とは別の人にします。同じ人だと、見た光景の記憶が記録の読みに混ざります。
• 画面録画とタイマー。録画する場合は、画面に映る範囲と保存期間を事前に伝えて同意を得ます。個人情報が映らない状態で始めてください。
• 記録シートと問題リストの用紙（形式は後述）。

手順：予測、観察、読み、突き合わせ

1. 予測メモを先に書く

観察の前に、作者が次の3点を紙に書いて封じておきます。

1. 最初の30秒でプレイヤーが最初に押す場所
2. つまずくと思う箇所（最大3つ）
3. 直したいと思っている点（最大3つ）

あとから「最初から分かっていた」と感じる後知恵を防ぐための記録です。省略すると、結果の読み方の段階で比較の基準が失われます。

2. 30秒を観察する

プレイヤー役にはゲームのURLまたはファイルだけを渡し、遊び方の説明はしません。「感じたことを声に出してもらって構いません」とだけ伝えます。開始の合図から30秒で打ち切ります。作者は横で黙って見ているか、録画を後で見返します。助けたくなっても口を出さないことが条件です。

プレイヤー役ごとに、毎回新しい状態（初回起動の状態）で始めます。ブラウザを開き直す、保存データのない状態にするなど、前の人の進行が残らないように気を付けます。

3. 作者が問題リストAを作る

記録を読み、問題を最大5件まで書き出します。1件ごとに次の列を埋めます。

• 該当する秒数
• 事実（記録に書かれていること、または画面に映っていること）
• 解釈（なぜそうなったと思うか）
• 提案は書かない（この段階では空欄にします）

提案を禁じるのは、解決策に飛ぶと「何が起きたか」の確認が薄くなるためです。

4. 第三者が問題リストBを作る

読み手役には、記録シート（または録画）だけを渡します。ゲームの意図、作者の予測メモ、作者のリストAは見せません。口頭の補足もしません。読む時間は10分を上限にし、各自が離れた場所で、独立してリストBを作ります。形式は作者と同じで、最大5件、事実と解釈を分けます。

5. 突き合わせる

全員のリストが出そろったら、初めて並べます。この作業は次の章の分類表に沿って行います。

記録の取り方：何を、どの単位で、何回

記録シートは1人のプレイヤーにつき1枚です。列は次の4つです。

• 0〜、プレイヤーの行動：画面を見ている、画面の状態：タイトル表示、発話（そのまま）：「どこ押すの？」

記録の単位は「秒」です。5秒刻みの区切りに丸めず、行動が起きた時点を1行にします。止まっていた時間は、「3〜9秒：操作なし」のように範囲で書きます。発話は言い換えず、聞こえた言葉をそのまま書きます。「迷っていた」と書くと解釈が入るためです。

回数の目安は次のとおりです。

• プレイヤー役：2〜3人（1人1回、30秒）
• 読み手役：2〜3人（全員が同じ記録セットを読む）
• 問題リスト：読み手1人につき1枚、最大5件

人数が少ないと偏りが読み取れないので、プレイヤー役は最低2人にしてください。それでもこの人数は、統計的な結論を出すためのものではありません。ずれの種類を見つけるための小さな実験と考えてください。

結果の読み方：どのずれが何を示すか

リストAとリストBを並べ、問題を内容ごとにまとめます。表現が違っても、同じ秒数の同じ事実を指しているなら同じ問題として扱います。そのうえで、各問題を次の三つに分けます。

• 一致、状態：AにもBにもある、読み方：記録が事実を十分に語っており、作者の読みが第三者と近いと考えられます。優先的に直す候補です。
• Bだけ、状態：第三者だけが挙げた、読み方：作者の盲点の候補です。ただし読み手の好みの可能性もあるため、下の確認をします。
• Aだけ、状態：作者だけが挙げた、読み方：記録に根拠があるか確認します。根拠がない場合は、作者の頭の中にある文脈知識で補っている可能性があります。

Bだけの問題を確かめる

Bだけの問題が、本当に記録に基づくものか、読み手の好みかを分けます。見るべき条件は二つです。

1. 「事実」の列に、記録の特定の行（秒数）を引用できているか。引用できず感想だけなら、好みの可能性が高くなります。
2. 複数の読み手が独立に挙げているか。1人だけなら保留、2人以上なら有力な候補です。この「2人以上」は目安であり、確定の基準ではありません。

Aだけの問題を確かめる

作者だけが挙げた問題について、事実の列に根拠となる秒数があるかを見ます。ない場合は、「この矢印の意味は分かるはず」のように、作者の知識を前提にした記述になっていないかを確認します。根拠がない問題は、記録からは裏付けられないものとして別枠に置き、次の観察で確かめる項目にします。

予測メモとの照らし合わせ

最後に、封じておいた予測メモを開きます。見るのは「当たったか」より、リストBにあって予測メモにもAにもない問題があるかどうかです。それがあれば、作者の想定の外にあった問題です。なければ、今回の記録の範囲では、作者の想定と第三者の読みが近かったことになります。どちらの結果でも、次に何を観察するかの手がかりになります。

誤りやすい点

実験の信頼性を落としやすい点を挙げます。

• 読み手に口頭で補足してしまう。 「ここは本当は〜という意図で」と言った時点で、第三者の読みが作者の読みに近づきます。補足は突き合わせが終わるまで我慢します。
• プレイヤー役と読み手役が同じ人になる。 遊んだ記憶が記録の空白を埋めてしまいます。別の人にしてください。
• 観察が30秒を超える。 31秒目以降の行動が記録に混ざると、「最初の30秒」の問いから外れます。タイマーで打ち切ります。
• 事実と解釈が混ざる。 「説明が分かりにくかった」は解釈です。「説明文を表示後、8秒間操作がなかった」が事実です。混ざったリストは突き合わせられません。
• 粒度がそろわない。 1件に複数の問題を詰めるリストと、細かく分けるリストでは、一致の数え方が変わります。1件につき1つの事実という決まりを、全員に最初に伝えてください。
• Bを見て弁護を始める。 突き合わせの場は、作者が反論する場ではありません。まず分類だけを行い、直すかどうかの判断は別の時間にします。
• 少人数の結果を一般化する。 2〜3人の記録から「ほとんどのプレイヤーが」と言うことはできません。分かるのは、その記録の範囲で何が見えたかです。

次の行動

まず自作ゲームを1本選び、プレイヤー役を2人、読み手役を2人探してください。観察の前に予測メモを書いて封をし、記録シートを1枚印刷または作成するところから始められます。突き合わせが終わったら、一致した問題とBだけの問題から1件ずつ選んで直し、もう一度30秒を観察してください。