A/B测试结果分析

A/B测试结果分析

在进行A/B测试后，适当分析结果是很重要的。

在Ptengine Experience中，您可以从体验详情屏幕的"A/B测试分析"部分确认结果。

本文将为您介绍如何查看测试结果。

SUCCESS Tip：等数据积累后再开始分析测试结果。

Ptengine的A/B测试基于"胜率"和"最低测试期间"来判断结果。

为了确保测试的精度，务必设置这两个值。

详细信息请查看此处的文章。

指定评估指标

在确认A/B测试结果时，第一步是指定适当的评估指标。

评估指标

👉 可以从事先在体验中设置的目标中选择。

🔗 也可以在测试结束后继续添加目标设置，详见此处

WARNING 在大多数情况下，目标设置为公司转化或KPI，但由于可以设置多个指标，因此也建议设置微转化（如CTA点击率），以扩大分析范围。

如果A/B测试验证位置到最终转化的路径较长，建议设置微转化。

选择评估指标后，将显示基于该指标的报告内容。

主要报告内容包括以下内容：

各模式的展示UU数

到达目标的UU数、目标达成率

成绩和胜率

判定优胜模式

在上述步骤中选择评估指标后，确认测试结果的详细信息。

要判定优胜模式，需要确认报告中的"成绩"和"胜率"。

什么是成绩

成绩显示评估指标中基准模式（Baseline）与测试模式之间的差异。基准是指原始页面或第一个模式。

例如，如果体验的目标设置为"购买"，基准模式的目标达成率为4％，测试模式的目标达成率为5％，则成绩为25％。（计算公式：5％ / 4％ - 1）

什么是胜率

胜率是指该模式相比其他所有模式表现更优的概率。这是判定优胜模式最重要的指标。

Ptengine使用贝叶斯统计学来计算胜率。

在最低测试期间结束后，如果满足条件，则判定为优胜。

优胜模式的判定逻辑

如果满足以下3个条件，则可以判定该模式为优胜，并在报告屏幕上显示测试结果。

任何模式的胜率超过设置的胜率 胜率默认设置为95％。此外，胜率阈值可以通过右上角的设置中更改"胜率"来更改。

最低测试期间已经过去 最低测试期间默认设置为7天。也可以从右上角的设置中进行更改。

各模式的展示用户数达到100人以上，且到达目标的用户数达到30人以上

WARNING 请查看胜率和最低测试期间的详细信息A/B测试详细设置。

评估指标的长期推定值

在A/B测试结果屏幕中，不仅可以确认当前评估指标的值，还可以确认"评估指标的长期推定值"。请尝试在A/B测试结果表的"评估指标"数值上移动鼠标。

该图表从当前数据预测将来的目标达成率，并以可视化方式显示哪个模式更优。

如何查看"评估指标的长期推定值"

如何查看推定值分布表

图表越靠右，性能越好（但是直跳率是负面指标，所以相反。如果选择"直跳率"作为评估指标，则左侧的图表更优）。

两个模式的线重叠部分越小，两者之间的性能差异越大。

图表越尖锐，推定值的确定性越高。此外，样本数据越多，线条越尖锐。

通过钻取分析进行深入分析

A/B测试结果可以从各种角度进行深入分析，以获得有助于下一步行动的见解。

WARNING Note： 通过利用用户识别，也可以从年龄、行业等任意角度来确认数据。

无法判定优胜模式的情况

即使长期进行A/B测试，如果仍无法判定优胜模式，也可以通过以下方法进行深入分析并获得见解。

1. 钻取分析 🕵️‍♀️

网站访客可能有多种需求。通过钻取分析，可能获得以下见解：

特定细分市场中的效果差异

时间段或曜日的影响

按设备类型的趋势

💡 Tip：即使整体上没有优胜差异，也可能在特定细分市场中出现效果。

2. 确认热力图 🔥

通过按模式确认热力图：

可视化用户注意力集中的地方

识别交互较多的区域

直观地掌握设计元素的效果

✅ 即使没有优胜差异，也可能从用户行为的差异中获得有用的见解。

3. 更改目标设置 🎯

如果最终目标离体验太远，请考虑设置中间指标：

例：在电子商务网站产品列表页面上进行测试 最终目标"购买"→ 中间目标"详情页面点击""加入购物车"

🔧 将用户旅程的更早部分设置为目标，并重新验证。

4. 统计显著性与实际判断 📊

当样本数充足且测试稳定时

如果胜率在80％以上，则可以进行实际判断

DANGER 注意： 即使没有统计学显著差异，也可以根据业务判断选择其中一个。