A/B 测试的详细设置

详细设置

在齿轮标记的"设置"部分中，可以进行详细设置，例如分配比例、最少测试期间、胜率指定、启用防闪烁功能等。

分配比例

在分配比例中，可以调整每个模式的分配比例。如果以 50% 的比例分配风险太大，可以设置较小的测试模式分配比例。

此外，在测试设置中，可以自定义测试期间和胜率。默认为推荐设置，但基本上保持原设置没有问题。

均匀分配：将流量均匀分配给各个模式。

自定义：请确保分配总计为 100%。A/B 测试分配后，如果想增加性能好的模式的流量，也可以使用此功能。

目标用户

有关目标用户的设置方法，请参考此处的文章。

体验目标

有关目标的设置方法，请参考此处的文章。

判定标准

Ptengine 的 A/B 测试实施期间由"胜率"和"最少测试期间"的阈值决定。这样可以控制测试的准确性和判定期间。

最少测试期间

最少测试期间的设置是指在开始测试后的设置期间内不判定测试结果的设置。

考虑到曜日的影响，初始值设置为推荐的 7 天。

最少测试期间可在 3 天至 14 天之间更改。

WARNING Tip：胜率和最少测试期间的设置示例

根据工作流程和测试的重要性进行设置，如下所示。

＜想要快速进行！（期间：短 / 精度：低）＞

・胜率：90%

・最少测试期间：3 天

＜想要在保持精度的同时按周进行（期间：标准 / 精度：推荐）＞

・胜率：95%

・最少测试期间：7 天

＜即使需要时间，也想要有把握地得出结论（期间：长 / 精度：高）＞

・胜率：98%

・最少测试期间：14 天

胜率

胜率是指能够判断该版本相对于其他版本更优越的概率。

初始值设置为 95% 或更高，当胜率超过 95% 时，可以确定测试的胜负，并根据最少测试期间在报告屏幕上显示判定结果。

胜率的判定区间"95%"可更改为"90%"或"98%"。

百分比越低，测试期间越短，精度越低。

相反，百分比越高，测试期间倾向于越长，精度越高。

防闪烁功能

防闪烁是一种通过白屏来覆盖页面编辑时原页面瞬间显示现象的功能。

通过 Ptengine 基础标签的设置方法，可以缓解闪烁现象。

默认为禁用。

根据基础标签的设置方法，防闪烁功能的使用方式会有所不同。详情请参考此处的文章。

发布体验

最后，在"已确认创建的体验、设置内容"项目上打勾，然后按发布按钮进行发布。

A/B 测试实施完成后，分析 A/B 测试的结果。