A/Bテストの結果分析
A/Bテストを実施後、その結果を適切に分析することが重要です。
Ptengine Experience では、体験詳細画面の「A/Bテスト分析」セクションから結果を確認できます。
この記事では、テスト結果の見方についてご説明します。
Tip：テスト結果の分析は、データが蓄積されてから開始しましょう。
PtengineのA/Bテストは、「勝率」と「最低テスト期間」を基準に結果を判定します。
テストの精度を担保するために、この2つの値は必ず設定しましょう。
詳しくは、こちらの記事をご確認ください。
評価指標を指定
A/Bテストの結果を確認する際、最初のステップは適切な評価指標を指定することです。
評価指標は
👉 事前に体験に設定したゴールから選択可能です。
🔗 ゴールをテスト終了後にも追加設定が可能ですが、方法はこちらをご確認ください
多くの場合、ゴールには自社コンバージョンやKPIを設定しますが、複数指標を設定することができるので、CTAのクリック率などマイクロコンバージョンも設定しておくと分析の幅が広がります。
ABテストの検証場所が最終コンバージョンまで経路が長い場合、マイクロコンバージョンの設定がおすすめです。
評価指標を選択すると、その指標を基にしたレポート内容が表示されます。
主なレポート内容には以下が含まれます：
各パターンの表示UU数
ゴール到達UU数、ゴール率
成績と勝率
優位パターンを判定
上記のステップで評価指標を選択したら、テスト結果の詳細を確認します。
優位パターンを判定するには、レポートの「成績」と「勝率」を確認します。
成績とは
成績は、評価指標に対する基準パターン（Baseline）とテストパターンの差分を表示しています。基準とは、オリジナルページまたは最初のパターンを指します。
例えば、体験のゴールとして「購入」を設定した場合、基準パターンのゴール到達率が4％でテストパターンのゴール到達率が5％だとすると、成績は25％になります。（計算式：5％ / 4％ - 1）
勝率とは
勝率は、該当パターンが他のすべてのパターンよりも優れたパフォーマンスを発揮する確率です。これは、優位パターンを判断するための最も重要な指標です。
Ptengineでは、ベイズ統計学を用いて勝率を算出しています。
最低テスト期間終了後、条件が満たされた場合、優位と判定されます。
優位パターンの判定ロジック
以下3つの条件を全て満たした場合、該当するパターンを優位と判定して良いと判断し、テスト結果をレポート画面に表示します。
いずれかのパターンの勝率が設定した勝率を超えること
勝率はデフォルト95％として設定されてあります。また勝率の閾値は、右上の設定から「勝率」を変更することで変更可能です。
最低テスト期間が経過すること
最低テスト期間はデフォルトで7日間として設定されてあります。右上の設定から変更することも可能です。
各パターンの表示ユーザー数が100人以上、そしてゴール到達ユーザー数が30人以上であること
勝率や最低テスト期間の詳細A/Bテストの詳細設定をご確認ください。
評価指標の長期的な推定値
ABテストの結果画面では、現在の評価指標の値だけでなく、「長期的な評価指標の推定値」も確認できます。A/Bテスト結果表の「評価指標」の数値にマウスオーバーしてみてください。
このグラフは、現在のデータから将来のゴール率を予測し、どちらのパターンが優れているかを視覚的に示します。
「長期的な評価指標の推定値」の見方
推定値とは
現在のデータに基づき、長期的に予測される評価指標（ゴール率など）の値です。
グラフの線
・青線: 選択したパターン ・黒線: オリジナルパターン
見方・操作
・線にカーソルを合わせると、その時点でのゴール率が確認できます。 ・線の頂点が、最も可能性の高い「最良推定値」を示します。
推定値分布表の見方
グラフが右寄りにあるほどパフォーマンスが良いと言えます（ただし、直帰率はネガティブな指標なので逆になります。評価指標として「直帰率」を選択している場合は、左寄りにあるグラフの方が優れています）。
2つのパターンの線が重なり合う部分が小さければ小さいほど、両者のパフォーマンスに優劣がつきます。
グラフが鋭いほど推定値の確実性が高くなります。また、サンプルデータが多いほど線は鋭くなります。
ドリルダウン分析による深い分析
A/Bテストの結果は、様々な角度から深掘りすることで、次のアクションに繋がるインサイトを得られます。
分析軸の例
・表示ページ ・流入元 ・デバイス ・新規/再訪 ・地域 など
発見できること（例）
「キャンペーンXからの訪問者はパターンAを好み、キャンペーンYからはパターンBが好まれる」といった、セグメントごとの傾向がわかる。
次のアクション（例）
分析結果に基づき、流入元ごとに表示するページを変えるなど、パーソナライズ施策に繋げる。
Note: ユーザー識別を活用することで、年齢や業界などの任意の切り口でデータを確認することもできます。
優位パターンを判定できない場合
A/Bテストを長期間実施しても優位パターンが判定できない場合、以下の方法で分析を深め、インサイトを得ることができます。
1. ドリルダウン分析 🕵️♀️
サイト訪問者は多様なニーズを持っている可能性があります。ドリルダウン分析により、以下のようなインサイトを得られる可能性があります：
特定のセグメントにおける効果の違い
時間帯や曜日による影響
デバイスタイプごとの傾向
💡 Tip: 全体で優位差がなくても、特定のセグメントで効果が出ている場合があります。
2. ヒートマップの確認 🔥
パターン別にヒートマップを確認することで：
ユーザーのアテンション集中箇所を視覚化
インタラクションの多い領域を特定
デザイン要素の効果を直感的に把握
✅ 優位差がなくても、ユーザー行動の違いから有用なインサイトを得られることがあります。
3. ゴール設定の変更 🎯
最終ゴールが体験から遠すぎる場合、中間指標の設定を検討しましょう：
例：ECサイトの商品一覧ページでのテスト
最終ゴール「購入」→ 中間ゴール「詳細ページのクリック」「カゴ入り」
🔧 ユーザージャーニーのより手前の部分をゴールとして設定し、再検証してみましょう。
4. 統計的優位性と実用的判断 📊
サンプル数が十分で、テストが安定している場合
勝率が80％以上であれば、実用的な判断が可能
注意：統計的有意差がなくても、ビジネス判断として一方を選択することは可能です。
最終更新