ABテストを始める前に決めること：仮説・指標・期間・止める条件の設計

先に基準を固定する理由

総務省統計局の学習サイトは、仮説検定を「仮説を立てる→有意水準を決める→検証する→結論を出す」の順で説明しています(統計的推定と統計的仮説検定)。有意水準は、差がないという仮説を捨てる基準となる確率で、5%や1%がよく使われます。大事なのは、この基準を検証の前に置く順番です。

同じ統計局のサイトには、ウェブサイト改善のABテストを扱うページがあります(ウェブサイトの改善)。購入率が10.0%から10.3%に上がった例で、実際は差がなくても、1万人中30人以上の差が約48.2%の確率で生じると説明しています。この例では、0.3ポイントの上昇は統計的に有意な差とは言えません。数字が上がって見えても、偶然の範囲かもしれません。だから「どこまでの差なら動くか」を、見る前に決めておく必要があります。

テスト計画書1枚の雛形

下の雛形をそのままコピーして埋めてください。カッコ内は、各項目で迷いやすい点の補足です。

【テスト計画書】
テスト名：
作成日／担当者：

1. 仮説
　[変更点]を[対象ユーザー]に出すと、[主指標]が[方向]になる。理由は[根拠]。
　変えるのは1要素だけ(Aとの違い：　　　　)

2. 指標
　主指標(1つだけ)：例 申込完了率＝申込完了数÷ページ訪問者数
　補助指標(説明用)：例 クリック率、直帰率
　ガードレール指標(悪化したら採用しない)：例 解約率、問い合わせ件数
　集計対象と除外：例 社内アクセス、同一人物の重複

3. 割り当てと期間
　割り振り：ランダム／割合 A:B＝50:50
　開始日／終了日：　　　(曜日の偏りを避け、1週間の倍数が目安)
　目標サンプル数：各群　　　人(算出方法と前提：　　　　)
　現状の主指標の水準：　　　%
　動かしたい最小の差：　　　ポイント以上

4. 停止条件
　期間途中で止める場合：計測不具合、ガードレール指標の大幅悪化、
　表示の誤りや法的懸念が見つかったとき
　期間途中で「勝ち」と判断して止めない(終了日まで待つ)

5. 判断ルール(結果を見る前に確定)
　有意水準：　　%
　B採用：主指標が最小の差以上に改善、かつ有意、かつガードレール悪化なし
　A維持：有意な差なし、または主指標が悪化
　再テスト：差は出たがガードレールが悪化、または計測に問題あり
　事後に指標・期間・対象を変更しない。変えるなら新しいテストとして計画し直す

承認者：　　　　　承認日：

各項目の決め方

仮説には理由を書きます。「ボタンを赤にする」だけでは変更案にすぎません。「申込ボタンが目立たず見落とされていると考えるので、色を変えれば完了率が上がる」と書けば、外れたときに何を学んだのかが残ります。

主指標は1つに絞ります。複数の指標を並べて「どれかが良ければ成功」とすると、偶然に良く見える指標を拾いやすくなります。補助指標は原因を探る材料、ガードレールは悪化を見張る役目と分けておきます。

期間と人数は、現在の水準と「この差なら施策を変える価値がある」という最小の差から逆算します。統計局の資料も、調査では見込まれる誤差を踏まえて標本の大きさを決めて設計する、という考え方を示しています。人数の算出には専用の計算ツールを使えますが、その前提(現状の水準、最小の差、有意水準)も計画書に書いておいてください。曜日で行動が変わる商材は、1週間の倍数で区切るのが無難です。これは公式資料の規定ではなく、編集上の目安です。

停止条件は、途中で止める理由を「失敗や事故」に限るのがコツです。毎日結果を見て、差が出た日に止めるやり方は、偶然の差で判断しやすくなります。

広告表現をテストする場合の注意

訴求文やLPの表現を比べるテストでは、勝った案がそのまま本番の表示になります。消費者庁は、品質や内容を実際より著しく優れて見せる表示を優良誤認表示、価格や取引条件を実際より有利に見せる表示を有利誤認表示として説明しています。また、効果や性能に関する表示では、裏付けとなる合理的な根拠の資料の提出を求められることがあり、示せない場合は不当表示とみなされます(表示規制の概要)。

クリック率が高い案ほど強い断定表現である場合は、計画書の「停止条件」に「表示内容の根拠が示せない案は配信しない」を足してください。個別の表現が適法かどうかは、社内の法務や専門家に確認してください。

AIに点検させる依頼文

計画書を埋めたら、AIには結果の判定ではなく、計画の穴探しを任せます。AIに渡すのは計画書の文章だけです。実際の顧客データや社外秘の数値は入れず、説明用の仮の数字に置き換えてください。

あなたはマーケティング分析のレビュー担当です。
下のABテスト計画書を、結果を見る前の段階で点検してください。

観点：
1. 仮説の変更点が1要素に絞れているか
2. 主指標が1つで、計算式があいまいでないか
3. 期間・サンプル数・最小の差の前提に矛盾がないか
4. 停止条件が「勝ち」を理由にした途中終了を許していないか
5. 判断ルールが、どの結果でも行動を決められる書き方か
6. 後から解釈を変えられる余地(未定義の語、除外条件の抜け)

出力：問題点を箇条書きで、各項目に「どこが」「なぜ」「直し方の案」を付ける。
数値の再計算や、勝敗の予測はしないでください。
分からない前提は推測せず、質問として列挙してください。

【計画書】
(ここに貼り付け)

AIの指摘は参考意見です。サンプル数の算出や有意性の判定は計算ツールで行い、数字と前提を人が確認します。最終的な承認欄は、人が埋めてください。

説明用の例：判断ルールの書き方

次は架空の例で、実測値ではありません。「資料請求ページの見出し変更」の判断ルールを書くと、こうなります。

• 主指標：資料請求完了率(現状の水準を3%と仮定)
• 最小の差：0.5ポイント以上
• ガードレール：後日の問い合わせ解約率が悪化しない
• B採用：上の3条件をすべて満たしたとき
• 差が0.5ポイント未満、または有意でないとき：A維持。見出し案は次の仮説に回す

差が出なかった場合の行動まで先に書いておくと、「もう少し続ければ勝てるかも」と終了日を延ばす判断を防げます。