A／Bテストの手順（2）

4．レポートからベストのページを確認する

　テストを開始すると、レポートは随時更新されていく。ある程度のコンバージョン数が集まったタイミングでテストを終了しよう。筆者の経験からすると、それぞれのテストページでコンバージョン数が100を超えるか、来訪ユーザー数がそれぞれ1万を超えた当たりからテスト結果が安定してくるようだ。ただ、レポートはマメに確認して数値の動向は追っていた方がよいだろう。

　今回の案件では、仮説bが常に仮説aのコンバージョン率を上回り続けていたので、僅差ではあったが仮説bの方が優秀だったと言える。

テスト初期のレポート。大分差をつけているが…

テストを継続していくと結果が平準化され、ブレが少なくなってくる

5．ベストページで表示を固定する。

　テストを停止すると、固定で表示するページを選ぶことができる。もちろん、コンバージョン率が1番高かったページを選択しておこう。

テスト停止画面

　これがウェブサイトオプティマイザーを利用したA／Bテストの大きな流れだ。この後は再度仮説を立ててA／Bテストを繰り返しても良いし、多変量テストに移行してより細かい調整を行うのも良い。

　ウェブサイトオプティマイザー自体はかなり使いやすいツールで、慣れるまでには大した時間はかからないだろう。

　しかし最も重要なのはテスト以前の「仮説立て」にあることを、くれぐれも忘れないでいただきたい。

次回予告：仕上げのテスト「多変量テスト」を行う。

　次回はさらに細かい仮説検証を実現できる「多変量テスト」についての設定方法やレポートの読み方について詳しくご案内する。それまでにA／Bテストを通じて「ユーザーに聞く」という感覚を体感していただきたい。