ステップ3：検証

　続いて、「検証」のフェーズです。検証のフェーズでは、サイト上に2つ（以上）のパターンを出して実際にテストを行います。この時に注意しなければいけないポイントは次の2つです。

• どういう条件の時に元のパターンに戻すのか
• どういう条件の時にテストを終了し、片方だけを出すようにするのか

　「元のパターンに戻す」はどちらかというと、リスク防止を目的としています。具体的には、新しいパターンを出してみたら、元のパターンより遷移率が10%、30%、50%悪くなってしまった。「このままでは売上が下がってしまいまずいので、元のパターンに戻そう」という判断を何％の段階で行い実践するのか、ルールを決めておくということです。

　「どういう条件の時にテストを終了するか」についても、例えば、元のパターンと比較して、スタートして数日の平均で遷移率が2%増えたとしましょう。これは「誤差の範囲内なのか？」あるいは「明確に新しいパターンの方が結果がよく、新しいパターンだけを出し続けた方がよいのか？」という判断をどのタイミングで行うのか、ということです。

　「ウェブテスト」では、コンバージョン率の結果だけではなく、優位性・信頼度といった違う指標での評価も可能となります。

　共通しているのは、「パターンの勝つ（＝有意な差でよい結果が出続ける）確率を表示」してくれるという事です。例えば、あるA/BテストツールではパターンAが勝つ確率を80%と算出してくれます。しかし、何％になったらよいのかという事に関しては統一された答えはありません。

　筆者は90%を1つのラインとして評価する事が多いです。また「ウェブテスト」では「区間推定」を用いて、今までの結果を元に、指標の上限と下限の数値を算出してくれます。例えば、以下の様な形です。

　さらに学びたい方は、「区間推定」「カイ二乗検定」などについて調べて見ると学べることが多いかと思います。しかし、この辺の内容は報告対象者に伝えても理解されない事が多いので、筆者の以下のガイドラインを参考にしてもらえれば幸いです。

• 各パターンでのコンバージョン数は100件が目安
  （これまでは判断しない方がよい／上記により事前に結果が出る前の日数を算出する事ができます）
• 区間推定が算出できるツールであれば、CVRが高い方の下限とCVRの低い方の上限が逆転しないこと
• 勝つ確率が算出できるツールであれば、90%以上の確率で勝つ方を正とする
• コンバージョン数が200件を超えても、「区間推定の値がかぶる」あるいは「勝つ確率が50%以内」であれば、2つのパターンに優位な差は無いとする
• ただし、コンバージョン率が元のパターンの半分以下であれば、コンバージョン数が50件以上の時に限り元に戻す

　上記をガイドラインとして、各社で「切り返し条件」と「結論を出す条件」をアレンジしていただければ幸いです。

ステップ4：評価

　最後に「評価」のフェーズです。このフェーズでは実際に得られた結果をまとめて、何故そのような結果になったかのか、仮説を検討しましょう。

　「ユーザーには新しいキャッチコピーの親和性が高いと思っていたが、実際にはあまり影響がなかった」といった事実の列挙や、可能であればセグメントを切って（新規対リピートや流入元などで）比較してあげてもよいでしょう。

　また、もう1つ大切なのが、これらをドキュメントにまとめて報告する事です。できれば、単純な結果とその考えられる理由の報告だけではなく、次にテストを行なうとしたら何を変えるかという仮説や意見も出してあげるとよいでしょう。

　A/Bテストの最もよい点は、テストの結果が出ればコンバージョンや売上のアップにつながりますし、失敗しても「こういうパターンは上手くいかない」という知見が得られることです。

　A/Bテストやサイトへの施策の反映を行わない限り、上記のどちらの結果も得られません。また、知見を貯めていくことで、今後のA/Bテストでの「勝率」も上がっていきます。同じ失敗を違う所で繰り返さない、あるいは、よかった結果をサイトの他の場所でも反映するという事が可能になります。

A/Bテストを繰り返し回すために

　A/Bテストを繰り返し回すためには、「止まりやすいポイントを理解し対処する」事が最も有効です。筆者がいろいろな会社やコンサルティングで感じたポイントと、その対処方法を以下の表にまとめてみました。

　なかなかサイクルが回らない場合の参考にしてもらえれば幸いです。