差が出たのは偶然か:p値と有意差を、A/B比較の小さな架空例で読む

説明用の例:ボタン文言のA/B比較

以下はすべて説明用の例で、実際の計測結果ではありません。

• 会員登録ページで、ボタンの文言をAとBで比べた
• A:200人が閲覧し、24人が登録(12.0%)
• B:200人が閲覧し、36人が登録(18.0%)

Bのほうが6ポイント高く、見た目には「Bの勝ち」です。ただ、同じ文言でも訪問者が入れ替われば登録数は多少上下します。この上下が偶然のぶれなのかを確かめるのが有意差の検定です。

考え方の流れ(4ステップ)

総務省統計局の統計的推定と統計的仮説検定では、仮説検定を「仮説を立てる→有意水準を決める→検定統計量とp値を出す→結論を出す」の順で説明しています。A/Bに当てはめると次のとおりです。

1. 仮説を置く:「AとBの登録率は本当は同じ」(帰無仮説)を出発点にします。
2. 基準を先に決める:有意水準を0.05とします。結果を見てから基準を動かさないのがポイントです。
3. p値を出す:2群の割合の差を調べる検定(二標本の割合の検定)を使います。
4. 結論を言葉にする:p値と基準を比べ、あわせて差の大きさと幅も見ます。

今回の例を、正規近似を使った手計算で概算します(コードは実行しておらず、統計ソフトの出力とは小数点以下がずれる場合があります)。

• 全体の登録率:60÷400=15%
• 差6ポイントのぶれの目安(帰無仮説のもとでの標準誤差):約3.6ポイント
• 差は標準誤差の約1.68倍(z≈1.68)
• 両側p値:約0.09

この標準誤差とp値は、2群の割合の差に対するプールした正規近似による概算です。0.09は0.05より大きいので、「この人数では、偶然のぶれと区別できない」が結論になります。さらに、差の95%信頼区間は概算で−1ポイントから+13ポイント程度です(この区間は、各群の標本割合に基づく非プールの正規近似)。Bが少し悪い可能性から、かなり良い可能性まで含んでいます。

同じ6ポイント差でも、人数で読みが変わる

同じ登録率(12%と18%)のまま、人数だけを各群2,000人に増やしたとします(これも説明用の例です)。同じ正規近似ではz≈5.3となり、p値は0.001よりずっと小さくなります。差の大きさは同じでも、データが多いほど「偶然では説明しにくい」と言いやすくなります。

逆に、各群10万人で12.0%と12.6%のように差が0.6ポイントしかなくても、同じ正規近似ではp値は0.001を下回ります。有意でも、差が小さすぎて施策としての価値は別の話、ということが起こります。

結果の読み分け表

• 基準より大きい、差の大きさ・幅：幅が広い(今回の例)、言えること：判断材料が足りない、次の一手：人数を増やす、期間を延ばす(事前に決めた計画の範囲で)
• 基準より大きい、差の大きさ・幅：幅が狭くゼロ付近、言えること：大きな差はなさそう、次の一手：変更の手間が小さい案を選ぶ
• 基準より小さい、差の大きさ・幅：十分大きい、言えること：偶然だけでは説明しにくく、実務上も意味がありそう、次の一手：他の指標や別期間でも確認して採用
• 基準より小さい、差の大きさ・幅：ごく小さい、言えること：差はありそうだが価値は小さい、次の一手：コストと見合うかで判断

報告で避けたい言い回しの一覧

• 「p=0.09なので差はなかった」、問題点：差がない証明ではなく、判断できないだけ、言い換え例：「この人数では偶然と区別できなかった」
• 「p=0.03なので、Bが効く確率は97%」、問題点：p値は仮説が正しい確率ではない、言い換え例：「差がないと仮定すると、これほどの差が出るのは約3%」
• 「p<0.05なのでBは大幅に改善」、問題点：有意かどうかと差の大きさは別、言い換え例：「差は○ポイント(信頼区間○〜○)」
• 「有意になるまで人数を増やした」、問題点：途中で何度も見て止めると偶然の差を拾いやすい、言い換え例：「事前に決めた人数・期間で判定した」
• 「p=0.049は有意、0.051は無意味」、問題点：境界の少しの違いで結論を変えるのは不自然、言い換え例：「基準ぎりぎりのため、再検証が望ましい」
• 「10個の指標のうち1つが有意だった」、問題点：比較を重ねるほど偶然の当たりが増える、言い換え例：「10指標を見たうちの1つで、追加確認が必要」
• 「統計的に有意=重要」、問題点：重要性は業務判断で決まる、言い換え例：「有意で、差は○ポイント。施策コストは○」

最後の3行のように、検定の回数や止め方は結果の読み方に影響します。事前に「何を主指標にするか」「何人で止めるか」を決めておくと、報告時の説明が楽になります。

AIに計算と文案を任せるときの依頼文

AIに任せられるのは、計算の補助と報告文の下書きです。次の点は人が確認します。

• 数字の転記ミスがないか
• 同じ訪問者が両群に入っていないか
• 期間中にキャンペーンなど別の要因がなかったか
• 事前に決めた基準や人数と合っているか

機密データは、そのまま貼らず、説明用の数字や丸めた値に置き換えます。

次のA/B比較結果を、二標本の割合の検定で分析してください。
- A:閲覧200、登録24
- B:閲覧200、登録36
- 有意水準:0.05(事前に決定)、両側検定
出力してほしいもの:
1. 使った検定とその前提
2. p値、差(ポイント)、95%信頼区間
3. 「差がない」と断定しない、非専門家向けの報告文3行
4. 計算過程。自信がない箇所は明記する

AIの出力は、今回の手計算(p≈0.09)と大きくずれていないかを照合してください。ずれたら、どの検定を使ったか(正規近似か、正確確率検定か)を尋ねます。小さい標本では手法によってp値が少し変わるのは自然ですが、結論が逆転する場合は入力を疑います。

判断チェックリスト

報告の前に次の4点を確認します。

1. 有意水準と人数は、結果を見る前に決めたか
2. p値だけでなく、差の大きさと幅も書いたか
3. 「差がない」「効果が確実」と書いていないか
4. 何度も見た、何個も比べたという事情を書いたか

p値は偶然のぶれを見積もる道具で、施策が正しい確率を教えるものではありません。数字と一緒に、どれだけ見て、どう決めたかを書くと、読み手は結果を適切に受け取れます。