観察で見つけた問題を一つだけ直して、もう一度観察する

直す一つを決める

観察メモの候補から一つを選ぶ基準は、次の4点です。候補ごとに書き出して比べます。

• 何人の観察で起きたか。1人だけに起きた問題より、複数の人に起きた問題のほうが優先度は高くなります。ただし、少人数の観察では偏りが出るので、人数は目安として扱います。
• 30秒のどの時点で起きたか。早い時点の問題ほど、その後の観察を隠します。たとえば開始時点で止まる人には、その後の操作性が見えません。
• 直し方が小さいか。文言や位置の調整で済む問題は、変更の影響を切り分けやすくなります。
• 再観察で確かめやすいか。「分かりやすくなったか」では測れないので、秒数、回数、行動の有無など、見て記録できる形にできるかを確かめます。

仮定の例を表にしてみます。内容は説明用で、実際の観察結果ではありません。

• 開始ボタンが見つからない、起きた人数：観察した人のうち複数、起きた時点：開始前、直し方の大きさ：小（位置・大きさ）、確かめやすさ：高（最初の操作までの秒数）
• 操作説明が読まれない、起きた人数：観察した人のうち一部、起きた時点：開始直後、直し方の大きさ：中（文章の作り直し）、確かめやすさ：中
• 最初の失敗が早い、起きた人数：観察した人のうち一部、起きた時点：10秒前後、直し方の大きさ：大（難易度の調整）、確かめやすさ：中

この仮定なら、早い時点で起き、直し方が小さく、測りやすい「開始ボタンが見つからない」が第一候補です。残りは捨てずに「次の候補」として残します。一つ直した後の再観察で、状況が変わっている可能性があるからです。

準備するもの

再観察は、前回との違いが「直した一か所」だけになるように整えます。次のものを用意します。

1. 変更前の版の保存。ファイル名やフォルダ名に日付か版名を付けて、そのまま残します。アソバースで公開済みの作品を更新する場合も、更新の前に手元の変更前ファイルを残しておきます。公開内容の更新や非公開化はできますが、変更前の版を手元に持っておくほうが比較や巻き戻しが楽になります。
2. 見る指標を先に決めたメモ。観察の前に決めます。たとえば次の3つです。

• 画面が出てから最初の操作までの秒数
• 30秒の間の誤操作の回数（押しても反応しない場所を押した回数など）
• 30秒時点で「このゲームで何をするか」を本人が言葉で説明できたか（できた／部分的／できない）

1. 同じ導入文。観察の前に話す内容は、前回と同じ文面にして読み上げます。「ボタンを押すと始まります」のような一言が、直したい問題の答えを先に教えてしまうことがあります。導入文は「このゲームを30秒ほど遊んでください」程度にとどめます。
2. 同じ端末と画面サイズ。スマートフォンとパソコンで見え方が違えば、直した効果と区別できません。
3. 初めて遊ぶ人。前回の観察に参加した人は、すでにゲームを知っています。再観察は別の人に頼みます。

最初の操作までの秒数を手元で拾いたいときは、観察用に次のような最小のページを仮に用意しておくと便利です。画面表示からの経過秒数を画面に出すだけで、外部との通信はしません。実際のゲームに差し込むときは、観察が終わったら削除します。

<!doctype html>
<meta charset="utf-8">
<button id="start">はじめる</button>
<pre id="log"></pre>
<script>
const t0 = performance.now();
const log = document.getElementById('log');
const rows = [];
function mark(name){
  const s = ((performance.now() - t0) / 1000).toFixed(1);
  rows.push(s + '秒 ' + name);
  log.textContent = rows.join('\n');
}
mark('画面表示');
addEventListener('pointerdown', e =>
  mark('最初のタップ ' + Math.round(e.clientX) + ',' + Math.round(e.clientY)),
  {once:true});
addEventListener('keydown', e => mark('キー ' + e.key), {once:true});
document.getElementById('start').addEventListener('click',
  () => mark('はじめるを押した'));
</script>

画面に出た行を、観察メモに転記します。「最初のタップ」の座標を見ると、ボタンがある場所から離れた位置を押していたかどうかも分かります。

手順：仮説を書いて、一か所だけ変えて、同じ条件で見る

1. 問題を一文で書き、仮説の形にします。 「開始ボタンが画面下の端にあるため、最初の操作までに時間がかかっている。ボタンを画面中央に大きく置けば、最初の操作までの秒数が短くなるはずです」のように、原因・変更・期待する変化を一文に収めます。原因の推測が外れているかもしれないので、「はず」と書いて仮の答えとして扱います。
2. 変更は一か所にします。 位置を変えるなら、同時に色や文言を変えません。「ついでに」直したくなる箇所が見つかったら、メモに書くだけにして今回は触りません。
3. 変更前と変更後を別ファイルで保存します。 後から差分を見比べられるようにします。
4. 再観察の人数と回数を決めます。 前回と同じ人数を目安にします。1人あたり1回、最初の30秒だけを見ます。同じ人に何度もやってもらうと、二回目以降は学習の影響が入るので避けます。
5. 前回と同じ指標を同じ書式で記録します。 秒数は小数第一位まで、誤操作は回数で、説明できたかは3段階で書きます。記録には「何も起きなかった場合」も書き込みます。たとえば「30秒間、操作なし」も立派な記録です。
6. 観察者は口を出しません。 困っているように見えても、ヒントを出さず、黙って見て記録します。どうしても止めたいときは、その時点の秒数を書いて観察を終わります。

これで、前回の記録と今回の記録を同じ項目で並べられます。

結果の読み方

並べた記録は、次のように読みます。人数が少ないので、平均値よりも、同じ場面で同じ詰まりが再現したかどうかを見るほうが確かです。

• 指標が良いほうに動き、同じ詰まりが再現しない場合。 仮説は支持されたと見て、その変更を採用します。ただし数人の観察なので、「この条件では効いたようだ」と受け止め、断定はしません。
• 指標が動かず、詰まりも同じ場所で再現する場合。 原因の推測が外れていた可能性があります。変更を残すかどうかは別に考えて、記録のほうを見直します。たとえば最初のタップ位置を見て、ボタンの位置ではなく文言に迷っていたと分かれば、次の仮説を立て直します。
• 指標が動かないが、詰まりの場所が変わった場合。 一つ目の問題が解消されて、次の問題が見えるようになった可能性があります。新しい詰まりを、次の「直す一つ」の候補に加えます。
• 指標が悪くなった場合。 変更を戻します。変更前の版を保存してあれば、すぐに戻せます。悪くなった理由は、変更が一か所なので推測しやすくなっています。
• 人によって結果が大きく割れた場合。 観察した人の経験の違い（普段からゲームをよく遊ぶかなど）が影響している可能性があります。人数を増やして再観察するか、割れた理由をメモから探します。

なお、アソバースのプレイ回数は作品を起動した実測の回数で、人数ではありません。遊ばれた回数の増減は、最初の30秒に何が起きているかを教えてくれません。直した効果は、プレイ回数ではなく、目の前の観察で確かめます。

起こりやすい誤り

• ついでに直す。 一か所と決めたのに、再観察の前に別の文言も直してしまうと、結果の原因を切り分けられなくなります。
• 指標を後から決める。 観察した後で「この数字なら良く見える」と選ぶと、結果を都合よく読んでしまいます。指標は観察前に書き出します。
• 観察者がヒントを出す。 口に出さなくても、画面を指さす、うなずくなどが答えになります。視線を画面から少し外して記録に集中します。
• 前回の人に頼む。 一度遊んだ人は、ボタンの位置を覚えています。再観察は初めての人に頼みます。
• 直した場所以外の差が混ざる。 端末、画面サイズ、音量、導入文が前回と違うと、直した効果と区別できません。条件はメモに書いて揃えます。
• 一度の再観察で終わりにする。 再観察で新しい詰まりが見つかるのは普通のことです。次の候補に進むか、ここで止めるかを、記録を見て決めます。

次の行動

自作ゲームの観察メモから、「早い時点で起き、小さく直せて、数字か回数で確かめられる」問題を一つだけ選びます。仮説を一文で書き、変更前の版を保存してから、一か所だけ直してください。同じ導入文と同じ端末で、初めて遊ぶ人にもう一度30秒を遊んでもらい、前回と同じ書式で記録を並べれば、直した効果を自分で判断できます。