# A/Bテストの結果分析
A/Bテストを実施後、その結果を適切に分析することが重要です。
Ptengine Experience では、体験詳細画面の「A/Bテスト分析」セクションから結果を確認できます。
この記事では、テスト結果の見方についてご説明します。
{% hint style="success" %}
**Tip：テスト結果の分析は、データが蓄積されてから開始しましょう。**
PtengineのA/Bテストは、「勝率」と「最低テスト期間」を基準に結果を判定します。
テストの精度を担保するために、この2つの値は必ず設定しましょう。
詳しくは、[こちら](/experience/campaign/create-new-2/advanced-settings.md)の記事をご確認ください。
{% endhint %}
## **評価指標を指定**
A/Bテストの結果を確認する際、最初のステップは適切な評価指標を指定することです。
評価指標は
* 👉 事前に体験に設定したゴールから選択可能です。
* 🔗 ゴールをテスト終了後にも追加設定が可能ですが、方法は[こちら](/experience/goal/setting.md)をご確認ください
{% hint style="warning" %}
多くの場合、ゴールには自社コンバージョンやKPIを設定しますが、複数指標を設定することができるので、CTAのクリック率などマイクロコンバージョンも設定しておくと分析の幅が広がります。
ABテストの検証場所が最終コンバージョンまで経路が長い場合、マイクロコンバージョンの設定がおすすめです。
{% endhint %}
評価指標を選択すると、その指標を基にしたレポート内容が表示されます。
主なレポート内容には以下が含まれます：
* 各パターンの表示UU数
* ゴール到達UU数、ゴール率
* 成績と勝率
## **優位パターンを判定**
上記のステップで評価指標を選択したら、テスト結果の詳細を確認します。
優位パターンを判定するには、レポートの「成績」と「勝率」を確認します。
### **成績とは**
成績は、評価指標に対する基準パターン（Baseline）とテストパターンの差分を表示しています。基準とは、オリジナルページまたは最初のパターンを指します。
例えば、体験のゴールとして「購入」を設定した場合、基準パターンのゴール到達率が4％でテストパターンのゴール到達率が5％だとすると、成績は25％になります。（計算式：5％ / 4％ - 1）
### **勝率とは**
勝率は、該当パターンが他のすべてのパターンよりも優れたパフォーマンスを発揮する確率です。これは、優位パターンを判断するための最も重要な指標です。
Ptengineでは、[ベイズ統計学](https://ja.wikipedia.org/wiki/%E3%83%99%E3%82%A4%E3%82%BA%E7%B5%B1%E8%A8%88%E5%AD%A6)を用いて勝率を算出しています。
最低テスト期間終了後、条件が満たされた場合、優位と判定されます。
## **優位パターンの判定ロジック**
以下3つの条件を全て満たした場合、該当するパターンを優位と判定して良いと判断し、テスト結果をレポート画面に表示します。
1. **いずれかのパターンの勝率が設定した勝率を超えること**
勝率はデフォルト95％として設定されてあります。また勝率の閾値は、右上の設定から「勝率」を変更することで変更可能です。
2. **最低テスト期間が経過すること**
最低テスト期間はデフォルトで7日間として設定されてあります。右上の設定から変更することも可能です。
3. **各パターンの表示ユーザー数が100人以上、そしてゴール到達ユーザー数が30人以上であること**
{% hint style="warning" %}
勝率や最低テスト期間の詳細[A/Bテストの詳細設定](/experience/campaign/create-new-2/advanced-settings.md)をご確認ください。
{% endhint %}
## **評価指標の長期的な推定値**
ABテストの結果画面では、現在の評価指標の値だけでなく、「長期的な評価指標の推定値」も確認できます。A/Bテスト結果表の「評価指標」の数値にマウスオーバーしてみてください。
このグラフは、現在のデータから将来のゴール率を予測し、どちらのパターンが優れているかを視覚的に示します。
#### **「長期的な評価指標の推定値」の見方**
| 項目 | 説明 |
| --------- | ---------------------------------------------------------------------------------------- |
| **推定値とは** | 現在のデータに基づき、長期的に予測される評価指標（ゴール率など）の値です。 |
| **グラフの線** | ・青線: 選択したパターン
・黒線: オリジナルパターン
|
| **見方・操作** | ・線にカーソルを合わせると、その時点でのゴール率が確認できます。
・線の頂点が、最も可能性の高い「最良推定値」を示します。
|
### **推定値分布表の見方**
1. グラフが右寄りにあるほどパフォーマンスが良いと言えます（ただし、直帰率はネガティブな指標なので逆になります。評価指標として「直帰率」を選択している場合は、左寄りにあるグラフの方が優れています）。
2. 2つのパターンの線が重なり合う部分が小さければ小さいほど、両者のパフォーマンスに優劣がつきます。
3. グラフが鋭いほど推定値の確実性が高くなります。また、サンプルデータが多いほど線は鋭くなります。
## **ドリルダウン分析による深い分析**
A/Bテストの結果は、様々な角度から深掘りすることで、次のアクションに繋がるインサイトを得られます。
| 分析の目的 | より深いインサイトの発見 |
|---|
| 分析軸の例 | ・表示ページ
・流入元
・デバイス
・新規/再訪
・地域 など |
| 発見できること（例） | 「キャンペーンXからの訪問者はパターンAを好み、キャンペーンYからはパターンBが好まれる」といった、セグメントごとの傾向がわかる。 |
| 次のアクション（例） | 分析結果に基づき、流入元ごとに表示するページを変えるなど、パーソナライズ施策に繋げる。 |
{% hint style="warning" %}
**Note:** [ユーザー識別](/experience/user-group.md)を活用することで、年齢や業界などの任意の切り口でデータを確認することもできます。
{% endhint %}
## **優位パターンを判定できない場合**
A/Bテストを長期間実施しても優位パターンが判定できない場合、以下の方法で分析を深め、インサイトを得ることができます。
### 1. ドリルダウン分析 🕵️♀️
サイト訪問者は多様なニーズを持っている可能性があります。ドリルダウン分析により、以下のようなインサイトを得られる可能性があります：
* 特定のセグメントにおける効果の違い
* 時間帯や曜日による影響
* デバイスタイプごとの傾向
💡 Tip: 全体で優位差がなくても、特定のセグメントで効果が出ている場合があります。
### 2. ヒートマップの確認 🔥
パターン別にヒートマップを確認することで：
* ユーザーのアテンション集中箇所を視覚化
* インタラクションの多い領域を特定
* デザイン要素の効果を直感的に把握
✅ 優位差がなくても、ユーザー行動の違いから有用なインサイトを得られることがあります。
### 3. ゴール設定の変更 🎯
最終ゴールが体験から遠すぎる場合、中間指標の設定を検討しましょう：
* 例：ECサイトの商品一覧ページでのテスト
* 最終ゴール「購入」→ 中間ゴール「詳細ページのクリック」「カゴ入り」
🔧 ユーザージャーニーのより手前の部分をゴールとして設定し、再検証してみましょう。
### 4. 統計的優位性と実用的判断 📊
* サンプル数が十分で、テストが安定している場合
* 勝率が80％以上であれば、実用的な判断が可能
{% hint style="danger" %}
**注意**：統計的有意差がなくても、ビジネス判断として一方を選択することは可能です。
{% endhint %}
---
# Agent Instructions: Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.
Perform an HTTP GET request on the current page URL with the `ask` query parameter:
```
GET https://helps.ptengine.com/experience/campaign/create-new-2/result-analysis.md?ask=
```
The question should be specific, self-contained, and written in natural language.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.
Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.