> For the complete documentation index, see [llms.txt](https://docs.vwo.gaprise.jp/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.vwo.gaprise.jp/testing/reports/mihd2v4wmk.md). # VWOの勝利バリエーション計算方法 「[A/Bテスト](https://vwo.com/ab-testing/)」は簡単に実行できるように見えますが、正しく実行するには優れた規律が必要です。これらのテストは、多くの場合、テストから正しいデータを得るために一定期間テストを実行することを要求する頻度論的モデルに従います。 しかし、ほとんどのテスターは時間の重要性を理解できず、その代わりにテストの有意水準に達することに執着しています。これは、多くのテスターにとって唯一無二の存在であり、しばしば有意差検査と呼ばれます。推奨された期間、テストを行わないと、有意水準が正しくなくなり、結果が不正確になります。 例え推奨された期間テストを実行したとしても、頻度論的モデルのテストは、AがBに勝つかどうかを知ることができるだけで、AとBがどれくらい近いか遠いかを推定することはできません。また、AがBに勝つ確率や、それに伴う不確実性も決してわかりません。このような間違いは、A/Bテストが「[コンバージョン率の最適化](https://vwo.com/conversion-rate-optimization/)」を念頭に置いて進化してこなかったために起こります。統計的な手法として採用されたものの、コンバージョンの専門家のワークフローに沿ってカスタマイズされることはなかったのです。 **SmartStats：勝利のバリエーションを見つけるためのベイズの方法** SmartStatsは、ベイズ統計に基づく新しい統計エンジンであり、テストをより細かく制御できます。より良い計画を立て、より正確なテスト終了の理由を持ち、AとBがどれだけ近いか遠いかを理解することができるようになりました。SmartStatsは、お客様がどのような改善に関心をお持ちなのか、どの程度の確実性を求めているのかを理解し、お客様のテストをよりスマートにするためにあらゆるステップでサポートします。 ![](/files/tvqo4AxHMcHZr7ndJsDN) **コンバージョン率の範囲** VWOは、お客様のWebサイトの実際のコンバージョン率がどこにあるのかを99％の確度で表すために、コンバージョン率の範囲を報告しています。これにより、報告するコンバージョン率について常に確信を持つことができるようになりました。 テスト開始時には、コンバージョン率は0～100％の範囲にあると考えられ、テストを進めるごとに更新されます。コンバージョン率の範囲の更新には、ベイズ統計モデルを使用します。まだ起きていないことの可能性を予測するために、私たちはこれを行います。推測統計学はこれを扱う統計学の一分野であり、頻度論的型とベイズ型の2つのモデルに大別されます。 この2つのモデルにはそれぞれ利点があり、何をしようとしているのかによって、どちらかを選ぶことになります。 **例えば、**コンバージョン数と訪問者数を割ってコンバージョン率を求めても、真の意味での正確な結果は得られないでしょう。100人の訪問者のうち7人のコンバージョンと、1万人の訪問者のうち700人のコンバージョンでは、どちらも7％のコンバージョン率という結果になるからです。コンバージョンが1つ増えると、最初のケースではコンバージョン率は8%になり、2番目のケースでは7.01%にしかなりません。 このように、変更を加えたバリエーションのコンバージョン率を推論しようとしているのであって、Webサイトの訪問者100人のコンバージョンを測定しても判断できないのです。テストに大量のトラフィック（と時間）を割くことはできないので、不確実性や揺らぎをすべて考慮した表現方法を見つける必要があります。 そのためには、コンバージョン率を一つの値として見ることをやめる必要があります。短時間に収集したデータを使って計算しようとすると、1つの値ではほとんど正確な値が得られないのです。SmartStatsは、コンバージョン数をパーセンテージで表すのではなく、真のコンバージョン率が99％の確率で存在するコンバージョン率範囲を算出します。データを集めれば集めるほど、この最も可能性の高い値の範囲は小さくなっていきます。 ![](/files/j42YsX1mKLuWpPwWgI5g) デフォルトでは、コンバージョン率の最も可能性の高い値が統計テーブルに表示されます。「[設定の表示](https://help.vwo.com/hc/en-us/articles/360035248894)」を使用して変更し、コンバージョン率の範囲をレポートに追加することができます。 ![](/files/g5p6xxQHEODozY20m5XH) **確率としての改善** これは、バリエーションを実装した場合にベースラインに対して予想できる改善の中央値です。「最善の場合」と「最悪の場合」の値は、改善が含まれる可能性が高い99％の信頼区間を表します。 従来の頻度論的統計は、AがBに勝ったサンプルの平均（と標準偏差）を近似的に求めます。このタイプの統計は、BがAに勝った場合を完全に無視します。ベイズ統計では、この可能性まで考慮して、AがBに勝つ確率と期待できる改善の範囲を計算します。そこで、コントロールとバリエーションのコンバージョン率について、ランダムなサンプル（7,000,000ものサンプル）を取り、これらを比較することで、改善点を探ります。 **例えば、**コントロールと各バリエーションのコンバージョン率の範囲からランダムにサンプルを使用します。そして、各バリエーションがコントロールに対してどの程度改善されているかを比較します。使用する計算式は次のとおりです。 **「コントロールに対する改善＝(バリエーションのサンプル - コントロールのサンプル)/コントロールのサンプル」** 上記で説明したように、コントロールとバリエーションのコンバージョン率から抽出したランダムなサンプルでこれを約700万回繰り返し、各バリエーションに期待する改善の範囲を得ます。コンバージョン率の範囲と同様に、改善もプロットすることができます。 デフォルトでは、バリエーションを適用した場合に期待できる改善の中央値を表示します。「[設定の表示](https://help.vwo.com/hc/en-us/articles/360035248894)」を使用して変更し、改善の範囲をレポートに追加することができます。 **ベースラインを超える確率** ベースラインを超える確率を知るために、再びコンバージョン率の範囲からランダムなサンプルを比較しますが、今回は700万個のサンプルセットのうち、バリエーションがコントロール/ベースラインを超える回数を調べます。そして、それをパーセントで表現します。使用する計算式は次のとおりです。 **「バリエーション1がコントロールに勝つ確率＝バリエーション1のサンプルがコントロールのサンプルに勝つ回数／全サンプル数」** **最良となる確率** 最良となる確率は、ベースラインに勝る確率と同じ方法で計算されるが、ここでは、700万個のサンプルセットのそれぞれで、そのバリエーションが他のすべてのバリエーションに勝っている頻度を見ます。そして、それをパーセントで表現します。使用する計算式は次のとおりです。 **「バリエーション1が最良となる確率＝バリエーション1のサンプルが最良となる回数／全サンプル数」** **SmartStatsは潜在的な損失を計算し、偽の勝者を選択するリスクを軽減します** SmartStatsは、BがAに勝つかもしれない確率を考慮しています。潜在的損失とは、Bの方が優れているのに、Aを勝者として展開した場合に損をする可能性のある揚高です。従来の頻度論的統計では、有意性に到達することを当てにしています。サンプル数を考慮していない場合、誤検出や誤勝ちになるリスクが高いです。 SmartStatsは、潜在的な損失を利用して、テストを終了するタイミングを決定します。テスト結果に基づいて、以下の2つのステータスのうち1つが表示されます。 VWOが、まずバリエーションの潜在的損失がある閾値以下であることを確認せずにテストを呼び出すことがないようにするためです。この閾値は、コントロールのコンバージョン率、週ごとにテストの一部となる訪問者、および一定の値に基づいて計算されます。 バリエーションは「勝者」または「賢い決断」と呼ばれるには、潜在的な損失が配慮閾値より小さくなければなりません。 **勝者** 私たちは、その潜在的な損失が配慮閾値を下回り、すべてに勝つ確率が95％以上であるとき、そのバリエーションを勝者と呼ぶことにします。 **賢い決断** 私たちは、その潜在的な損失が配慮閾値を下回り、ベースラインに勝つ確率が95%以上である場合、そのバリエーションを「賢い決断」とぶことにします。 **注：**VWOがバリエーションを勝者や賢い決断とするために、バリエーションごとに最低25のコンバージョン、テストに1500人の訪問者を必要とし、テストは最低1週間実行される必要があります。 **新規目標作成パネルの概要** 新しいベイズモデルでは、テストの推定時間を計算するために、\[目標]セクションで設定を入力する必要がなくなりました。その代わり、キャンペーン開始1週間分のデータを収集し、それをベースラインとして計算をすることになります。 キャンペーンで\[収益目標]を設定する際に、設定を追加するだけです。キャンペーンの一部であるページについて、現在の訪問者あたりの収益を入力する必要があります。 ![](/files/Da9JQddr9LvU234A9PGV) **ヒント：**他のVWOテスト、GA、または他の分析ツールから収集した収益データを分析して、訪問者あたりの収益の推定値を得ることができます。