A/Bテストの詳細設定

詳細設定

歯車マークの「設定」の箇所では、配信割合、最低テスト期間、勝率の指定、アンチフリッカー機能の有効化などの詳細設定が可能です。

配信割合

配信割合では、各パターンの配信割合を調整できます。50％ずつ配信することがリスクが大きい場合は、テストパターンの配信割合を小さく設定することができます。

また、テストの設定では、テストの期間と勝率をカスタマイズできます。デフォルトでは推奨設定になっていますが、基本的にはそのままの設定で問題ありません。

均等配信：各パターンにトラフィックを均等に振り分けて配信します。

カスタム：合計で100%になるように配分してください。ABテスト配信後、パフォーマンスの良いパターンに対しトラフィックを増やしたい場合にもご活用ください。

対象ユーザー

対象ユーザーの設定方法はこちらの記事をご参照ください。

体験のゴール

ゴールの設定方法はこちらの記事をご参照ください。

判定基準

PtengineのA/Bテストの実施期間は「勝率」と「最低テスト期間」の閾値によって決まります。これにより、テストの精度と判定期間をコントロールできます。

最低テスト期間

最低テスト期間の設定は、テストを開始してから設定した期間内はテスト結果を判定しないようにする設定です。

曜日による影響を鑑み、初期値は推奨としている 7 日間としています。

最低テスト期間は 3 日間 〜 14 日間の間で変更可能です。

Tip：勝率と最低テスト期間の設定例

下記のように、ワークフローやテストの重要性に合わせて設定しましょう。

＜ガンガン早く回したい！（期間：短い / 精度：低い）＞

・勝率：90%

・最低テスト期間：3日間

＜精度を保ちながら週単位で回したい（期間：標準 / 精度：推奨）＞

・勝率：95%

・最低テスト期間：7日間

＜時間要しても確実に結論を出しながら進みたい（期間：長い / 精度：高い）＞

・勝率：98%

・最低テスト期間：14日間

勝率

勝率とは、そのバージョンが他のバージョンに比べて優位であると判断できる確率です。

初期値は95%以上と設定されており、勝率が95%を超えるとテストの勝敗を確信し、最低テスト期間を踏まえてレポート画面に判定結果が表示されます。

勝率の判定区間「95%」は「90%」、「98%」に変更可能です。

パーセンテージが低いほど、テスト期間は短く精度としては低下します。

逆に、パーセンテージが高いほどテスト期間は長くなる傾向があり、精度は高くなります。

アンチフリッカー機能

アンチフリッカーは、ページ編集時に元のページが一瞬表示される現象をホワイトアウトでカバーする機能です。

Ptengineの基本タグの設置方法により、ちらつき現象を緩和できます。

デフォルトで無効になっています。

基本タグの設置方法により、アンチフリッカー機能の使い方がことなります。詳しくはこちらの記事をご確認ください。

体験を公開する

最後に「作成した体験、設定内容を確認しました」の項目にチェック入れて公開ボタンを押して公開します。

ABテスト実施完了後は、A/Bテストの結果を分析します。