評価順のランキングに「3件以上」の条件がある理由

1件の平均は、ほとんど「その人の気分」です

平均点は、件数が少ないほど1件の影響を強く受けます。レビューは1〜5点なので、1件が5点から1点に変わったとき、平均がどれだけ動くかを件数ごとに計算できます。1件の変化は最大4点分です。それを件数で割ったものが、平均の動く幅です。

• 1件、1件が5点→1点に変わったときの平均の動き：4.00点
• 2件、1件が5点→1点に変わったときの平均の動き：2.00点
• 3件、1件が5点→1点に変わったときの平均の動き：約1.33点
• 10件、1件が5点→1点に変わったときの平均の動き：0.40点
• 40件、1件が5点→1点に変わったときの平均の動き：0.10点
• 100件、1件が5点→1点に変わったときの平均の動き：0.04点

これは掛け算と割り算だけの結果で、実測値ではありません。1件のときは、その1人の機嫌や相性がそのまま作品の評価になります。100件になると、1人が極端な点をつけても平均はほとんど動きません。

もう一つ見ておきたいのは、極端な値が平均に出やすいことです。1件だけなら、平均は必ず1.0、2.0、3.0、4.0、5.0のどれかになります。5.0という数字は、「全員が最高点をつけた」という意味ではなく、「1人が最高点をつけた」という意味にもなります。評価順で上位に来る作品は、平均が高い作品です。その中に、件数が少ないために偶然高く出ただけの作品が混ざりやすいのです。

3件以上の条件が受け持つ範囲と、受け持たない範囲

確認済みの仕様を整理します。アソバースのレビューは、1〜5点と1〜2,000文字で書けます。1アカウントにつき1作品1件で、本人が編集・削除でき、自作の評価はできません。投稿にはメール確認が必要です。ランキングは、プレイ回数・いいね数・レビュー平均の切り替えとジャンル絞り込みに対応し、上位50作品が対象です。評価順は、レビュー3件以上の作品から掲載されます。

この仕様から読み取れることがあります。

• 「1アカウント1作品1件」なので、3件以上というのは、少なくとも3つの別のアカウントが評価したという意味になります。作者本人が自作を評価することもできません。
• 条件を満たさない作品は、評価順の一覧に出ないだけです。作品そのものが非表示になるわけではありません。プレイ回数順などの別の切り替えは、別の基準で並びます。
• 件数の条件は、1件や2件だけの極端な並びが1位から並ぶ状況を、一覧の入口で取り除く役割を持つと読み取れます。

一方で、3という数字が最適かどうかは、ここからは分かりません。なぜ3件に決めたのかという経緯や狙いは、公開されている案内にないので、この記事では推測しません。確かめたい人は、現在の案内で確認してください。

もう一つ大切なことがあります。3件でも、平均はまだ大きく動きます。先ほどの表のとおり、3件では1件の変化が約1.33点分、平均に響きます。つまり「3件以上」の条件は、偏りをなくす仕組みではありません。偏りが最も目立つ状態、つまり1件や2件だけの状態を外すための、最低限の線だと読むのが妥当です。件数が増えても偏りは減るだけで、ゼロにはなりません。

手で確かめる：仮想の三作品を並べる

まず紙と電卓だけでできる確認です。次の三つの作品を仮定します。

• 作品X：レビュー1件、5点。平均は5.00です。
• 作品Y：レビュー3件、5点・5点・4点。平均は14÷3で約4.67です。
• 作品Z：レビュー40件、合計180点。平均は4.50です。

評価順では、Xは3件未満なので掲載されません。YとZは掲載され、Yが4.67、Zが4.50でYが上に来ます。

ここで、各作品に1点のレビューが1件加わったと仮定して、平均を計算し直します。

1. Yは4件になり、合計が15点になります。平均は3.75になり、Zより下がります。
2. Zは41件になり、合計が181点です。平均は約4.41で、変化は0.09ほどです。
3. もしYの3件目が4点でなく1点だったなら、平均は(5+5+1)÷3で約3.67でした。この場合も、Zより下になります。

この三つの計算から、順位の入れ替わりは、件数の少ないYの側で起きやすいことが分かります。Zの順位は、1件の追加ではほとんど揺れません。読者は、自分で好きな数字を置いて同じ計算をしてみてください。確かめたいのは、「平均の差が小さくても、件数が違うと順位の信頼度は違う」という点です。

手元で確かめる：乱数で平均のばらつきを見る

次に、同じ作品に対して件数だけを変えたとき、平均がどれだけ散らばるかを、ブラウザで確かめます。次のコードを test.html という名前で保存し、ブラウザで開いてください。外部の読み込みは不要です。

<!doctype html><meta charset="utf-8">
<script>
// 仮定：1〜5点が出る相対的な比率（実際のレビュー分布ではありません）
const weights=[1,1,2,4,4];
function draw(){let t=weights.reduce((a,b)=>a+b),r=Math.random()*t;
 for(let i=0;i<5;i++){r-=weights[i];if(r<0)return i+1;}return 5;}
function avg(n){let s=0;for(let i=0;i<n;i++)s+=draw();return s/n;}
function spread(n,times=1000){const a=[];for(let i=0;i<times;i++)a.push(avg(n));
 a.sort((x,y)=>x-y);return [a[Math.floor(times*0.05)],a[Math.floor(times*0.95)]];}
for(const n of [1,2,3,5,10,30]){const [lo,hi]=spread(n);
 document.body.append(`${n}件: 中央90%は ${lo.toFixed(2)}〜${hi.toFixed(2)}`,document.createElement("br"));}
</script>

このコードは、同じ「性格」の作品に、n件のレビューが来る状況を1,000回繰り返します。そして、そのときの平均の下位5%と上位95%の位置を、件数ごとに表示します。つまり「平均の中央90%の幅」です。画面を再読み込みするたびに数字は変わります。

読み方は次のとおりです。

• 件数が増えるにつれて、幅が狭くなっているかを見ます。狭まり方は、件数が増えるほど緩やかになります。一般に、散らばりの大きさは件数の平方根に反比例して小さくなることが知られています。幅を半分にするには、件数がおよそ4倍必要だという目安になります。
• 1件のときの幅を見て、「その1件が当たりか外れかで、評価が決まる」状態を確認します。
• 3件の幅を見て、まだ十分に広いかどうかを自分の目で判断します。「3件で十分」と見るか「もう少し必要」と見るかは、読者の判断に任されています。

起こりやすい誤りは三つあります。一つ目は、weightsの比率を変えて「このほうが現実的だ」と思い込むことです。この比率は仮定であり、アソバースの実際の分布ではありません。二つ目は、1回の実行結果だけで判断することです。複数回実行して、傾向を見てください。三つ目は、このシミュレーションが「全員が独立に、同じ好みで評価する」という単純な仮定に立っていることを忘れることです。実際のレビューは、書く人の気分にも、作品を見つけた経路にも左右されます。

実際のランキングに当てはめて記録する

最後に、実際のランキングで確かめます。画面を開いて、次の手順で記録してください。

1. ランキングを「レビュー平均」の切り替えにして、上位から10作品を選びます。ジャンル絞り込みを使う場合は、「全ジャンル」と、気になるジャンル1つの両方を試します。
2. 各作品について、順位・作品名・平均点・レビュー件数を記録します。件数の表示のされ方は、作品を開いて確かめてください。この記事では、画面のどこに表示されるかを断定しません。
3. 記録は、作品ごとに1行です。同じ作品を後日もう一度記録するときは、日付を別の列にします。
4. 上位10作品の件数を並べ、3件や4件の作品が何位にいるかを見ます。

結果の読み方です。

• 上位に件数の少ない作品が目立つなら、平均の高さの一部は、少ない件数による偶然を含んでいる可能性があります。
• 件数が多い作品ばかりなら、少なくとも一覧の上位では、件数の少なさによる偏りは目立っていないと読めます。
• ジャンル絞り込みで作品数が少なくなると、件数の少ない作品が上位に入りやすくなるかどうかを、全ジャンルの記録と比べて確かめます。
• 数日あけて2回記録して、順位がどの作品でよく入れ替わるかを見ます。入れ替わる作品は、件数が少ないのかどうかを確認します。

起こりやすい誤りもあります。一つ目は、平均点の表示の丸めを無視することです。画面の小数の桁数は、画面を見て確かめてください。二つ目は、レビューを書く人が、遊んだ人全体の一部にすぎないことを忘れることです。平均点は「遊んだ人の評価」ではなく「書いた人の評価」です。三つ目は、プレイ回数と取り違えることです。プレイ回数は作品を起動した回数の実測で、同じ端末・作品の30分以内の再起動は重複として除かれますが、人数ではありません。レビュー件数とも別の数字です。

また、評価順は一つの目安です。プレイ回数順やいいね順に切り替えると、同じ作品でも並びが変わります。三つの切り替えの順位を横に並べて、作品がどこで目立つのかを比べると、一つの数字だけでは見えない違いが分かります。

次の行動

まず、仮想の作品Yに1点のレビューが加わる計算を、自分の好きな数字で試してみてください。次に、評価順のランキング上位10作品の平均とレビュー件数を記録し、件数の少ない作品の位置を確かめます。「3件」という線が十分かどうかは、その記録を見て判断してください。この線を決めた経緯が気になる場合は、現在の案内で確認するのが確実です。