「次に何をすればいいか」を聞かれた回数を数える

何を「質問」として数えるか

最初に決めるのは、数える対象です。「次に何をすればいいですか」という文言だけに絞ると、取りこぼしが出ます。プレイヤーは別の言い方で、同じ迷いを口にするからです。

次の4種類にそろえて記録します。

• 目的の質問：「何をすればいいの」「ゴールはどこ」など、やることそのものが見えていない発言です。
• 場所の質問：「どこを押すの」「これ、触れるの」など、操作する対象が見つかっていない発言です。
• 可否の質問：「押していいですか」「まだ待つんですか」など、操作してよいか確信が持てない発言です。
• 終了の質問：「終わりですか」「これで合ってますか」など、結果が伝わっていない発言です。

数え方の単位も先に決めます。1回の発言を1件とし、同じ画面で間をおいて繰り返された質問は別件として数えます。独り言のように漏れた疑問も、相手に向けた質問と同じ扱いで記録します。

もう一つ、「質問が出なかった停止」も記録の対象にします。無言のまま10秒ほど手が止まったときは、「停止」として1件入れます。黙って考え込む人は、口に出す人より多いからです。基準にする秒数は自分で決め、全員に同じ値を使ってください。

準備するもの

必要なのは、次のものです。

1. 試作した作品を、ブラウザでそのまま開ける状態にしたもの。アソバースに投稿する場合は、公開前の「表示の確認」の段階でも使えます。
2. ゲームを初めて見る人を3〜5人。作者の家族や制作仲間は、ルールを知っている可能性が高いので避けます。
3. 観察者が1人。作者本人が務める場合は、プレイヤーの操作に触れない位置に座ります。
4. 記録用の端末。プレイヤーの画面とは別のものを使います。
5. 画面の名前の一覧。タイトル、説明、1面の最初、1面の途中、結果画面のように、遷移ごとに番号を振ります。

画面の番号は、実施前に決めて固定します。実施中に「この辺り」と曖昧に記録すると、後で集計できません。

プレイ画面を録画する場合は、必ず相手の同意を得てください。録画がなくても実験は成り立ちます。観察者の記録と、プレイ後に見返すためのメモがあれば足ります。

観察者には守るルールがあります。

• 質問には答えず、「どうなると思いますか」と聞き返します。
• 「思ったことを声に出してください」と最初に一度だけ頼みます。
• ヒントや説明を、途中で足しません。
• 時間がかかっても、最後まで操作を続けてもらいます。

手順と記録のつけ方

手書きの記録シートでも構いませんが、画面の切り替えと発言のタイミングを同時に追うのは大変です。次の小さなHTMLを、観察者側の端末で別タブに開くと、キーを押すだけで記録できます。外部通信はなく、このファイル単体で動きます。

<!doctype html>
<meta charset="utf-8">
<title>質問ログ</title>
<p>1〜9=画面切替 / Q=何を W=どこ E=できる T=終わり / S=停止 / D=出力 / R=最初から</p>
<pre id="o"></pre>
<script>
let screen = "1", t0 = performance.now();
const log = [];
const kinds = { q: "何を", w: "どこ", e: "できる", t: "終わり", s: "停止" };
const o = document.getElementById("o");
function sec() { return Math.round((performance.now() - t0) / 100) / 10; }
function show() {
  o.textContent = "画面 " + screen + " / " + sec() + "秒 / " + log.length + "件";
}
addEventListener("keydown", e => {
  const k = e.key.toLowerCase();
  if (k >= "1" && k <= "9") screen = k;
  else if (kinds[k]) log.push([sec(), screen, kinds[k]]);
  else if (k === "r") { t0 = performance.now(); log.length = 0; }
  else if (k === "d") {
    o.textContent = "秒,画面,種類\n" + log.map(r => r.join(",")).join("\n");
    return;
  }
  show();
});
show();
</script>

実施の流れは次のとおりです。

1. プレイヤー1人につき1回、Rキーで記録を初期化します。
2. プレイヤーが作品を開いた瞬間に、観察者は画面「1」から記録を始めます。
3. 画面が変わるたびに、対応する数字キーを押します。
4. 発言があったら、その種類のキーを押します。判断に迷ったときは、聞いた言葉をメモ用紙に書き留め、後で分類します。
5. 無言で10秒止まったら、Sキーを押します。
6. プレイが終わったらDキーで出力し、内容をそのまま保存します。プレイヤー名ではなく、「P1」「P2」のような番号で管理します。

このツールは経過秒も保存します。最初の30秒に集中したい場合は、秒の列で絞り込んでください。作品の最初の30秒と、画面が変わった直後の30秒を分けて見ると、「入口の案内」と「途中の案内」の差が出やすくなります。

なお、プレイヤーが同じキーボードを使う作品では、観察者のキー入力が干渉します。観察者は必ず別の端末を使ってください。

結果の読み方

プレイヤー全員分のログが集まったら、画面ごと、種類ごとに件数を数えます。まず、次の形の表を作ります。

• 1、何を：、どこ：、できる：、終わり：、停止：、発生した人数：
• 2、何を：、どこ：、できる：、終わり：、停止：、発生した人数：
• 3、何を：、どこ：、できる：、終わり：、停止：、発生した人数：

表の右端は、件数の合計ではなく、その画面でひとつでも質問や停止があった「人数」にします。同じ人が5回聞いた画面より、5人が1回ずつ聞いた画面のほうが、案内の問題である可能性が高いからです。

判断の目安は、実施前に自分で決めておきます。たとえば「参加者の半数以上に出た画面は修正対象にする」「1人だけなら個人差として保留する」といった基準です。実験の後で基準を動かすと、見たい結果に合わせてしまう危険があります。

種類によって、直す方向が異なります。

• 「何を」が多い画面は、目的が見えていません。目標を示す一文や、ゴールの見える配置を検討します。
• 「どこ」が多い画面は、操作対象が見つかっていません。大きさ、位置、色、動きなどの手がかりを見直します。
• 「できる」が多い画面は、操作してよいかが読み取れていません。押せる見た目、反応の有無、待ち状態の表示を確認します。
• 「終わり」が多い画面は、結果の知らせが不足しています。音、表示、画面変化など、成否を示す手がかりを増やします。
• 「停止」が多い画面は、質問になる前に止まっています。聞き返しや、プレイ後の振り返りでつまずいた理由を確認します。

直したら、同じ人数、同じ手順、同じ画面番号でもう一度測り、表を並べます。ただし、前回と同じ人には頼めません。初見であることが条件だからです。新しい人を同じ人数集めてください。

起こりやすい誤り

この実験で多い失敗は、次の6つです。

• 観察者が答えてしまう：ひとつ答えると、以降のプレイヤーの行動が変わります。聞き返すだけにとどめてください。
• 質問が出ない人を「問題なし」と数える：黙って止まる人は多くいます。停止の記録を忘れないようにします。
• 少ない人数で断定する：3人の記録は、傾向を示す手がかりにすぎません。少ない人数で出た差は、確定ではなく仮説として扱います。
• 説明文を足して終わりにする：質問が多い画面に文章を追加しても、読まれなければ件数は減りません。まず見た目、配置、反応の手がかりを検討します。
• 複数の箇所を同時に直す：どの修正が効いたのか分からなくなります。画面ごとに1つずつ直して測ります。
• 画面番号が途中で変わる：実施中に画面を増やしたり番号を振り直したりすると、集計が崩れます。事前に固定してください。

比較の練習をしたい場合は、公式作品を開き、最初の画面だけを友人に見せる方法もあります。「どこを触ればいいか」を尋ねられるか、無言で止まるかを観察できます。ただし、作品の仕様は作品を開いて確かめるようにし、他人の作品への質問を設計の結論にしないでください。

次の行動

自分の作品の画面に、1から順に番号を振ってください。そのうえで、初見の人を3人探し、上のHTMLを別の端末で開いて実施します。表の中で人数が多かった画面を1つだけ選んで直し、新しい3人で同じ手順をもう一度行って、件数と人数の変化を比べてみてください。