ABテストで差が出なかったとき：失敗と決めつけず、次の一手を整理する

まず押さえる：「差なし」が意味すること

総務省統計局の解説ページには、既存案Aの購買率10.0%、改善案Bの10.3%という例があります。各パターン1万人ずつのログを比べ、「何の差もないのに誤差で30人以上の差が生じる確率は48.2%」だったため、この上昇は統計的に有意ではないと判断しています（統計局「ウェブサイトの改善」）。

見かけの差があっても、誤差で十分に起こりうる範囲なら「差があるとは言えない」という結論になります。ここで注意したいのは、「差があると言えない」と「差がないと言える」は別の話だという点です。後者を言うには、検出したい大きさの差を事前に決め、それが見つかる量のデータを集めておく必要があります。これは統計の一般的な考え方で、この記事の判断表にもその前提を使っています。

手順1：設計の問題を先に疑う

結果の数字を読む前に、テストそのものが成立していたかを確認します。ここが崩れていると、後の分析は意味を持ちません。

• 振り分けは無作為だったか（担当者が手動で分けていないか）
• A・B以外の条件が同時に変わっていないか（配信時期、予算、キャンペーン告知など）
• 計測が両案で同じ方法だったか（タグの付け忘れ、計測漏れ）
• 期間中に大きな外部要因（セール、障害、季節イベント）がなかったか
• 終了時点を、結果を見ながら決めていないか

どれか一つでも「いいえ」なら、設計の問題です。結論は「無効なテスト」で、案の優劣は判断しません。条件を直して再実施します。

手順2：指標が変更箇所に合っているかを見る

設計に問題がなければ、次は指標です。たとえば、メール件名を変えたのに最終的な購入数だけを見ていると、件名の影響は途中の段階（開封、クリック）で薄まります。反対に、クリックしやすさだけ上がって購入に結びつかない案もあります。

次の3種類に分けて、結果を並べて見てください。

• 主指標、例：変更が直接影響するもの（例：件名ならクリック率）、見る目的：勝ち負けの判断
• 最終指標、例：売上・申込など事業の成果、見る目的：主指標の改善が成果につながったかの確認
• 副作用指標、例：配信停止率、返品率など、見る目的：悪化していないかの確認

主指標を決めずにテストし、後から「差が出た指標」を探すのはおすすめできません。指標を多く見るほど、偶然の差を拾いやすくなるためです。主指標が変更箇所から遠かった場合は、指標の不一致として、次回は主指標を変更箇所の近くに置きます。

手順3：差の大きさと信頼区間の幅を見る

設計も指標も問題なければ、「差が小さい」か「データが足りない」かの切り分けです。ここで役立つのは、p値だけでなく差の推定値と区間の幅です。

Google広告のAPIドキュメントでは、実験結果の評価に、p値、変化率の推定値、誤差の幅（信頼区間の半径）の3つを使います。推定値から誤差の幅を引いた下限が0を上回り、p値が0.05以下なら有意に改善、どちらの条件も満たさなければ判断不能（inconclusive）で、実験を続ける、という整理です（Google Ads API「Report on experiments」）。これは広告実験の評価ルールですが、他のABテストを読むときの考え方としても使えます。

以下は説明用の仮の数値です（実測ではありません）。

• ①、差の推定値：+0.1ポイント、区間：−0.1〜+0.3、読み方：区間が狭くゼロ付近。事前に決めた最小の差を下回るなら、この案は見送り可
• ②、差の推定値：+0.4ポイント、区間：−0.8〜+1.6、読み方：区間が広い。判断材料不足。期間や母数を増やして再実施
• ③、差の推定値：−0.5ポイント、区間：−0.9〜−0.1、読み方：区間がゼロをまたがずマイナス側。悪化の可能性が高い。採用しない

①と②はどちらも「有意差なし」ですが、次の行動が違います。区間全体が、事前に決めた「意味のある最小の差」の範囲内に収まるかを確認します。区間がその範囲をはみ出すなら、実務上意味のある効果を否定できません。

切り分けフローと判断表

ここまでをまとめると、次の順番になります。

1. 設計に崩れはあるか → ある：無効。条件を直して再実施
2. 主指標は変更箇所に合っているか → 合っていない：指標を置き直して再実施
3. 区間は狭く、ゼロ付近か → はい：効果が小さい。案を見送り、別の仮説へ
4. 区間は広いか → はい：データ不足。期間や母数を増やす（事前に終了条件を決める）
5. 区間の一端が「意味のある最小の差」を超えているか → はい：その方向の効果の可能性を残す。続行か改良案を検討

• 設計の問題、見つけるサイン：条件の混在、計測の差、途中での終了判断、次の一手：条件を揃えて再実施
• 指標の不一致、見つけるサイン：主指標が変更箇所から遠い、複数指標から後づけで選んだ、次の一手：主指標を事前に1つ決める
• 差が小さい、見つけるサイン：区間が狭く、ゼロ付近、次の一手：見送って、より大きな変更を試す
• データ不足、見つけるサイン：区間が広く、両方向にまたがる、次の一手：期間・母数を増やす

AIに任せる範囲と、人が確認すること

AIには「原因の切り分け案」と「次回の記録の整理」を任せられます。一方、有意性の計算は、テストツールや表計算の出力を使ってください。AIに生データを渡して計算させると、誤りを確認しにくくなります。

渡す情報は、集計済みの数字と条件の説明だけにします。顧客の個人情報や社内の未公開数値は、説明用の数字に置き換えてください。

依頼文の例です。

ABテストの結果を3つの原因（設計の問題／差が小さい／指標の不一致）に
切り分けたいです。次の情報だけで判断し、足りない情報は質問してください。
推測は「推測」と明記してください。

【変更内容】件名の文言を短くした（説明用の例）
【主指標】クリック率（事前に決定／後から選んだ のどちらか：＿＿）
【結果】A：＿％、B：＿％、差の区間：＿〜＿ポイント
【配信条件】期間：＿日、振り分け方法：＿、同時期の他施策：＿
【事前に決めた意味のある最小の差】＿ポイント

出力：①原因の候補と根拠、②確認すべき追加情報、③次回テスト案を2つ

人が確認する点は3つです。AIが挙げた根拠が、渡した数字と一致しているか。追加で必要と言われた情報が実際に取れるか。次回テスト案が、事前に決めた主指標と合っているか。

次回のテスト案に残す記録欄

結果を「差なし」の一言で終わらせると、同じ案を繰り返したり、同じミスをしたりします。次の欄をそのまま共有ドキュメントに貼って使ってください。

■ テスト名／実施期間：
■ 仮説（何を変えると、誰の、何が変わると考えたか）：
■ 変更内容（A／B）：
■ 主指標／最終指標／副作用指標：
■ 事前に決めた意味のある最小の差：
■ 終了条件（期間・母数）：事前に決めたか：はい／いいえ
■ 結果（A、B、差の推定値、区間）：
■ 設計チェック（無作為／条件の混在／計測／外部要因）：
■ 原因の判定：設計の問題／指標の不一致／差が小さい／データ不足
■ 判定の根拠（数字で）：
■ 次の一手：再実施／見送り／別仮説／期間延長
■ 次回に変える点（1つだけ）：
■ 担当者／確認者／記録日：

「次回に変える点」を1つに絞るのがコツです。複数を同時に変えると、また原因が特定できなくなります。

差が出なかったことの使い道

差なしの結果にも使い道があります。「この文言の違いでは成果が動かない」とわかれば、そこに今後の工数をかけなくてよい、という判断ができます。区間が狭い①のようなケースは、案を見送る根拠になります。上の記録欄に残しておけば、次の企画会議で「前回は何を試し、何がわかったか」をすぐ共有できます。