3人に遊んでもらえば十分か：観察人数と見つかる問題の数

少人数で見つかる問題と見つからない問題

人数の議論で最初に押さえたいのは、問題には「何割の人に起きるか」という出現率があることです。全員が必ずつまずく問題は、1人見れば見つかります。10人に1人しか起きない問題は、3人ではほとんど見えません。

出現率をp、観察人数をnとすると、「少なくとも1人が見つける確率」は 1−(1−p)ⁿ で近似できます。これはユーザビリティテストの人数論でよく使われる考え方です。次の数字は計算例として仮に置いたもので、実測ではありません。

• p=0.3の問題：3人で約66%、5人で約83%の確率で見つかります。
• p=0.1の問題：3人で約27%、5人で約41%の確率で見つかります。

「5人いればだいたい見つかる」という経験則は、問題の出現率がそれなりに高いという前提に立っています。出現率が低い問題が多い作品では、同じ人数でも取りこぼしが増えます。ここでも実際のpは作品ごとに違うので、自分で測る必要があります。

人数だけでなく、問題の種類でも見つかりやすさは変わります。

• 入口で操作が分からない、ボタンが見えない、少人数での見つかりやすさ：高い、補い方：3人でも拾える
• 特定の端末だけで起きる（画面が小さい、キーボードがない）、少人数での見つかりやすさ：端末が偏ると見えない、補い方：端末の違う人を混ぜる
• 遊び慣れた人だけ、または初心者だけが迷う、少人数での見つかりやすさ：参加者の偏りに左右される、補い方：慣れの違う人を混ぜる
• 音が出ない環境、動きを抑える設定など、少人数での見つかりやすさ：条件を指定しないと見えない、補い方：条件を指定して観察する
• 操作順によって起きる不具合、少人数での見つかりやすさ：低い、補い方：操作の順序を変えて自分で試す
• 飽き、難度の山、再訪したい気持ち、少人数での見つかりやすさ：30秒では見えない、補い方：別の観察を設計する

要するに、少人数で見つかるのは「誰にでも起きる入口の問題」です。見つかりにくいのは、条件が限られる問題、経路が限られる問題、時間が経ってから出る問題です。人数を増やす前に、参加者の条件を散らすほうが効くことも多くあります。同じ年代、同じ端末、同じゲーム経験の3人は、ほぼ同じ問題を見つけやすいからです。

観察のやり方で消えてしまう問題もあります。観察者がつい「そこを押すんですよ」と声をかけると、その時点で問題が観察から消えます。声をかけない規則が必要です。

準備するもの

• 観察する作品。公開前の状態でも、公開済みでも構いません。遊び始めるまでの操作を毎回同じ状態に揃えます。
• 参加者6〜8人。人数が多いほど後で曲線を描きやすくなります。
• 参加者の属性メモ欄。端末（PC、スマートフォン、タブレット）、操作方法（キーボード、タッチ、マウス）、普段ゲームを遊ぶ頻度を書きます。本人が答えたくない項目は空欄で構いません。
• 時計。30秒を測れるもの。
• 記録用紙、または表計算ソフト。
• 録画する場合は、本人の許可。録画せず観察だけでも成立します。

練習したい場合は、公式作品を題材にする方法があります。たとえば「かたちのあいだ」には次の一手のヒント、一手戻す、時計の一時停止があります。まず作品を開いてこれらの機能がどこにあるかを自分で確かめ、その後で他の人が最初の30秒でそれらに気づくかを観察します。気づくかどうかは、実際に観察して確かめてください。

参加者の確保が難しい場合は、アソバースのログイン不要で遊べる点を使えます。参加者にアカウントを作ってもらう必要がなく、リンクを開いてもらうだけで観察を始められます。公開前の作品をどう見せるかは、投稿画面の「表示の確認」までの流れで自分の目でも確かめておきます。

手順

1. 観察範囲を決める

開始は「作品を開いた瞬間」、終了は「そこから30秒」です。30秒を過ぎたら、続きを遊んでもらっても構いませんが、集計に使うのは30秒以内の出来事だけにします。範囲を最初に決めておかないと、後半の問題が混ざって人数ごとの比較ができなくなります。

2. 問題の定義を書き出す

観察前に、何を「問題」と数えるかを文章で決めます。たとえば次のようにします。

• 3秒以上、何も操作しない（迷い）
• 押した結果が本人の期待と違う様子が見える（誤操作）
• 画面の外にボタンがある、表示が欠けるなど、遊ぶのに支障がある
• 本人が「これは何？」「どうやるの？」と口にする
• 30秒以内に遊ぶのをやめる

定義は途中で変えないでください。人によって定義が変わると、人数ごとの比較ができなくなります。

3. 声かけの規則を決める

参加者への説明は「普通に遊んでみてください」だけにします。操作の説明、ヒント、励ましは行いません。質問されても「分からなければ、そのまま進めてください」と返します。思ったことを声に出してもらう方法もありますが、30秒では声を出すこと自体が操作を邪魔することがあります。その場合は、観察だけに絞ります。

4. 1人ずつ観察し、その場で記録する

1人あたり、次の1行を繰り返し書きます。

時刻（秒）／画面の状態／本人の行動／問題の候補メモ

この段階では、問題を整理しすぎず、見たままを書き留めます。観察が終わったら参加者にお礼を伝え、属性メモを埋めます。

5. 観察が終わってから問題に名前をつける

全員の観察が終わってから、記録を見ながら問題に名前をつけ、同じ原因のものを一つにまとめます。たとえば「開始ボタンが分からない」と「最初の画面で止まる」が同じ原因なら、一つの問題として扱います。粒度の判断は人によって揺れるので、可能なら別の人にも同じ記録から名前をつけてもらい、一致しない部分を話し合います。

記録と集計

名前をつけた問題を行に、参加者を列にして、その参加者に起きたら1、起きなかったら0と記入します。

開始ボタンが見つからない,1,1,0,1,1,0
操作キーが分からない,0,0,1,0,0,0

上の数字は書式を示すだけの架空のもので、実験結果ではありません。この表を次の最小のHTMLに貼り付けると、「k人を無作為に選んだとき、平均で何件の問題が見つかるか」が出ます。参加者の選び方を2,000回入れ替えて平均しているので、観察した順番による偏りが抑えられます。

<!doctype html>
<meta charset="utf-8">
<textarea id="m" rows="8" cols="50">
問題A,1,1,0,1
問題B,0,0,1,0
</textarea>
<button onclick="run()">集計</button>
<pre id="o"></pre>
<script>
function run(){
  const rows=document.getElementById('m').value.trim().split('\n')
    .map(l=>l.split(','));
  const names=rows.map(r=>r[0]);
  const data=rows.map(r=>r.slice(1).map(Number));
  const n=data[0].length, out=[];
  for(let k=1;k<=n;k++){
    let sum=0; const T=2000;
    for(let t=0;t<T;t++){
      const idx=[...Array(n).keys()];
      for(let i=n-1;i>0;i--){
        const j=Math.floor(Math.random()*(i+1));
        [idx[i],idx[j]]=[idx[j],idx[i]];
      }
      const pick=idx.slice(0,k);
      sum+=data.filter(r=>pick.some(i=>r[i]===1)).length;
    }
    out.push(k+'人: 平均 '+(sum/T).toFixed(1)+' / '+data.length+' 件');
  }
  out.push('--- 出現率 ---');
  data.forEach((r,i)=>{
    const c=r.reduce((a,b)=>a+b,0);
    out.push(names[i]+': '+c+'/'+n+'人');
  });
  document.getElementById('o').textContent=out.join('\n');
}
</script>

表計算ソフトでも、問題ごとの合計（何人に起きたか）と、参加者ごとの合計（その人が何件に遭遇したか）は出せます。集計の目的は、次の3つの数字を手元に作ることです。

• 人数ごとの平均発見件数（1人、2人、3人……）
• 問題ごとの出現率（何人中何人に起きたか）
• 1人にしか起きなかった問題の件数

結果の読み方と誤りやすい点

3人で十分かを判断する見方

3人の行を見て、全体の件数に対する割合を確認します。3人時点で全体にほぼ届き、4人目以降でほとんど増えていなければ、この作品の最初の30秒については3人でかなりの問題が拾えた、と読めます。一方、人数が増えるたびに件数が伸び続けていれば、3人では足りない可能性があります。曲線が寝ていない限り、今の人数は「途中」だと考えてください。

もうひとつの手がかりが、1人にしか起きなかった問題の件数です。これが多いと、観察しなかった人には他にも未発見の問題がある可能性が高いと読めます。逆に、ほとんどの問題が複数人に共通していれば、取りこぼしは少ないと考えやすくなります。

出現率の高低で優先順位をつける

出現率が高い問題は、まず直す対象です。出現率が低い問題でも、遊ぶのをやめる原因になっているなら重く見ます。また、特定の端末や操作方法の人にだけ起きている問題は、属性メモと並べて見ます。端末の偏りが原因なら、「その端末の人を追加で観察する」のが次の一手です。

起こりやすい誤り

• 分母が「見つかった問題」になっている：集計の「全体」は、観察できた問題の総数です。観察できなかった問題は含まれていません。そのため「3人で全体の9割」と出ても、真の問題全体の9割とは限りません。見えた範囲の中での割合に過ぎません。
• 観察者の声かけで問題が消える：観察中に助言すると、その問題は記録から消えます。声をかけない規則を最後まで守ります。
• 身内だけで固める：作品の事情をよく知る人は、迷う場面でも先に進めてしまいます。初めて見る人を含めます。
• 一度直したら再観察しない：修正は新しい問題を生むことがあります。直した後は、別の人で同じ手順をもう一度行います。
• 30秒の結果を作品全体の評価と読む：この実験は最初の30秒だけを見ています。中盤の難しさ、飽き、また遊びたいかどうかは、別の観察を設計する必要があります。
• アクセス数やレビューで代用する：アソバースのプレイ回数は作品の起動回数で、人数ではありません。レビューも、遊んだ人が感想を書いたときにしか残りません。どちらも、誰がどこで迷ったかを教えてくれるものではないため、観察の代わりにはなりません。

公開後に問題が見つかったときは、公開内容の更新で直せます。修正のたびに少人数で観察し直す運用でも負担は小さく済みます。

次の行動

まず、自分の作品で「最初の30秒」の範囲と問題の定義を5行以内で書き出してください。次に、端末や遊び慣れが異なる人を5〜6人集め、声をかけずに観察して記録します。集計の結果、人数ごとの曲線と1人だけの問題の件数を見て、3人で足りたかを自分の作品について判断してください。