> For the complete documentation index, see [llms.txt](https://helps.ptengine.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://helps.ptengine.com/experience/campaign/create-new-2/result-analysis.md).
# A/Bテストの結果分析
A/Bテストを実施後、その結果を適切に分析することが重要です。
Ptengine Experience では、体験詳細画面の「A/Bテスト分析」セクションから結果を確認できます。
この記事では、テスト結果の見方についてご説明します。
{% hint style="success" %}
**Tip：テスト結果の分析は、データが蓄積されてから開始しましょう。**
PtengineのA/Bテストは、「勝率」と「最低テスト期間」を基準に結果を判定します。
テストの精度を担保するために、この2つの値は必ず設定しましょう。
詳しくは、[こちら](/experience/campaign/create-new-2/advanced-settings.md)の記事をご確認ください。
{% endhint %}
## **評価指標を指定**
A/Bテストの結果を確認する際、最初のステップは適切な評価指標を指定することです。
評価指標は
* 👉 事前に体験に設定したゴールから選択可能です。
* 🔗 ゴールをテスト終了後にも追加設定が可能ですが、方法は[こちら](/experience/goal/setting.md)をご確認ください
{% hint style="warning" %}
多くの場合、ゴールには自社コンバージョンやKPIを設定しますが、複数指標を設定することができるので、CTAのクリック率などマイクロコンバージョンも設定しておくと分析の幅が広がります。
ABテストの検証場所が最終コンバージョンまで経路が長い場合、マイクロコンバージョンの設定がおすすめです。
{% endhint %}
評価指標を選択すると、その指標を基にしたレポート内容が表示されます。
主なレポート内容には以下が含まれます：
* 各パターンの表示UU数
* ゴール到達UU数、ゴール率
* 成績と勝率
## **優位パターンを判定**
上記のステップで評価指標を選択したら、テスト結果の詳細を確認します。
優位パターンを判定するには、レポートの「成績」と「勝率」を確認します。
### **成績とは**
成績は、評価指標に対する基準パターン（Baseline）とテストパターンの差分を表示しています。基準とは、オリジナルページまたは最初のパターンを指します。
例えば、体験のゴールとして「購入」を設定した場合、基準パターンのゴール到達率が4％でテストパターンのゴール到達率が5％だとすると、成績は25％になります。（計算式：5％ / 4％ - 1）
### **勝率とは**
勝率は、該当パターンが他のすべてのパターンよりも優れたパフォーマンスを発揮する確率です。これは、優位パターンを判断するための最も重要な指標です。
Ptengineでは、[ベイズ統計学](https://ja.wikipedia.org/wiki/%E3%83%99%E3%82%A4%E3%82%BA%E7%B5%B1%E8%A8%88%E5%AD%A6)を用いて勝率を算出しています。
最低テスト期間終了後、条件が満たされた場合、優位と判定されます。
## **優位パターンの判定ロジック**
以下3つの条件を全て満たした場合、該当するパターンを優位と判定して良いと判断し、テスト結果をレポート画面に表示します。
1. **いずれかのパターンの勝率が設定した勝率を超えること**
勝率はデフォルト95％として設定されてあります。また勝率の閾値は、右上の設定から「勝率」を変更することで変更可能です。
2. **最低テスト期間が経過すること**
最低テスト期間はデフォルトで7日間として設定されてあります。右上の設定から変更することも可能です。
3. **各パターンの表示ユーザー数が100人以上、そしてゴール到達ユーザー数が30人以上であること**
{% hint style="warning" %}
勝率や最低テスト期間の詳細[A/Bテストの詳細設定](/experience/campaign/create-new-2/advanced-settings.md)をご確認ください。
{% endhint %}
## **評価指標の長期的な推定値**
ABテストの結果画面では、現在の評価指標の値だけでなく、「長期的な評価指標の推定値」も確認できます。A/Bテスト結果表の「評価指標」の数値にマウスオーバーしてみてください。
このグラフは、現在のデータから将来のゴール率を予測し、どちらのパターンが優れているかを視覚的に示します。
#### **「長期的な評価指標の推定値」の見方**
| 項目 | 説明 |
| --------- | ---------------------------------------------------------------------------------------- |
| **推定値とは** | 現在のデータに基づき、長期的に予測される評価指標（ゴール率など）の値です。 |
| **グラフの線** | ・青線: 選択したパターン
・黒線: オリジナルパターン
|
| **見方・操作** | ・線にカーソルを合わせると、その時点でのゴール率が確認できます。
・線の頂点が、最も可能性の高い「最良推定値」を示します。
|
### **推定値分布表の見方**
1. グラフが右寄りにあるほどパフォーマンスが良いと言えます（ただし、直帰率はネガティブな指標なので逆になります。評価指標として「直帰率」を選択している場合は、左寄りにあるグラフの方が優れています）。
2. 2つのパターンの線が重なり合う部分が小さければ小さいほど、両者のパフォーマンスに優劣がつきます。
3. グラフが鋭いほど推定値の確実性が高くなります。また、サンプルデータが多いほど線は鋭くなります。
## **ドリルダウン分析による深い分析**
A/Bテストの結果は、様々な角度から深掘りすることで、次のアクションに繋がるインサイトを得られます。
| 分析の目的 | より深いインサイトの発見 |
|---|
| 分析軸の例 | ・表示ページ
・流入元
・デバイス
・新規/再訪
・地域 など |
| 発見できること（例） | 「キャンペーンXからの訪問者はパターンAを好み、キャンペーンYからはパターンBが好まれる」といった、セグメントごとの傾向がわかる。 |
| 次のアクション（例） | 分析結果に基づき、流入元ごとに表示するページを変えるなど、パーソナライズ施策に繋げる。 |
{% hint style="warning" %}
**Note:** [ユーザー識別](/experience/user-group.md)を活用することで、年齢や業界などの任意の切り口でデータを確認することもできます。
{% endhint %}
## **優位パターンを判定できない場合**
A/Bテストを長期間実施しても優位パターンが判定できない場合、以下の方法で分析を深め、インサイトを得ることができます。
### 1. ドリルダウン分析 🕵️♀️
サイト訪問者は多様なニーズを持っている可能性があります。ドリルダウン分析により、以下のようなインサイトを得られる可能性があります：
* 特定のセグメントにおける効果の違い
* 時間帯や曜日による影響
* デバイスタイプごとの傾向
💡 Tip: 全体で優位差がなくても、特定のセグメントで効果が出ている場合があります。
### 2. ヒートマップの確認 🔥
パターン別にヒートマップを確認することで：
* ユーザーのアテンション集中箇所を視覚化
* インタラクションの多い領域を特定
* デザイン要素の効果を直感的に把握
✅ 優位差がなくても、ユーザー行動の違いから有用なインサイトを得られることがあります。
### 3. ゴール設定の変更 🎯
最終ゴールが体験から遠すぎる場合、中間指標の設定を検討しましょう：
* 例：ECサイトの商品一覧ページでのテスト
* 最終ゴール「購入」→ 中間ゴール「詳細ページのクリック」「カゴ入り」
🔧 ユーザージャーニーのより手前の部分をゴールとして設定し、再検証してみましょう。
### 4. 統計的優位性と実用的判断 📊
* サンプル数が十分で、テストが安定している場合
* 勝率が80％以上であれば、実用的な判断が可能
{% hint style="danger" %}
**注意**：統計的有意差がなくても、ビジネス判断として一方を選択することは可能です。
{% endhint %}