「A／Bテスト→改修」の適用範囲を広げる

――サイト改修は段階的に行ったほうが良いとのことですが、その理由を教えてください。

橋本：少ないA／Bテストの結果を基に一度に大幅なサイトリニューアルをしてしまうと、どの要素がCVRやサイト回遊率などの改善につながったのか、特定しづらくなるからです。たとえば、グローバルナビゲーション（※）の改善が効果的だったのか、それとも新しいバナーデザインが良かったのか、などを明確化するためにも部分最適が良いのです。

※サイト内の各コンテンツを紹介するために設置されている案内メニューのこと

橋本：ただし、現行サイトのUI／UXに関する課題が明確で、サイトリニューアルがCVR改善への最短の道であることが明確であれば、先にサイトリニューアルを実施したほうが良いケースもあります。その場合には、リニューアル直後にA／Bテストを複数回実施し、リニューアルによる悪影響や新たに発生した課題などの問題を早期に解消することが重要です。

橋本：A／Bテストを軸としたサイト改善においては、まずは、グローバルナビゲーションでA／Bテストを実施し、その結果を基に改修。そして次に商品詳細ページのデザインを……というように「A／Bテスト→改修」のサイクルで、その範囲を徐々に広げることが重要です。数多くのユーザーが目にする箇所や、コンバージョンへの影響が大きい箇所から順に改善していきましょう。

――A／Bテストを実施する以前に、「サイトもしくはメルマガのどこを改善すべきかわからない」というお悩みもよく耳にします。

橋本：その場合は、改善ポイントを特定するための仮説立てが重要です。改修しようとしているページと内容が類似し、かつ回遊率などが良いページを探してみてください。その二つのページを並べて、「構成」や「クリックエリア」などの内容面を比較。異なる点があれば、そこが改善すべき箇所というわけです。

　メルマガの場合には、配信内容が類似していて、かつ開封率やクリック率、CVRに差があるメルマガを比較して、件名や本文、配信対象者などの違いを確認し、次のメルマガ配信時には配信条件および配信内容の改善につなげてください。

結果次第で、第三の選択肢も考えるべし

―― A／Bテストは、1回の結果で判断しても良いのでしょうか？　「偶然、当たった」という可能性もあるので、複数回テストした上で判断したほうが良いのでしょうか？

飯島：限られたトラフィック内で「CVRが3%向上した」という結果が出たとしても、それが偶然だった可能性はあり得ます。その場合、テスト期間を延長するか、トラフィックを増やして再テストしてみると良いでしょう。ただし、何度も試したものの、結局AとBで大した差が見られなかった場合、最終的にチーム内で意見をまとめ、どちらかを選定することも珍しくありません。

橋本：そうですね。A／Bテストの結果が偶然かどうかについては、まずは統計的優位性を確認してください。A／Bテストが必ずしも明確な結果をもたらすとは限りませんので、両者の間に大きな違いが見られなかった場合には、その結果は引き分けとした上で、別のCパターンを検討した上で新たなA／Bテストを実施すべきといえます。

　A／Bテストでは、統計的優位性を活用しながら勝者を早期に判定し、勝ちパターンをより多く積み重ねていくことが重要で、この点がマーケターの腕の見せ所でしょう。この勘所を磨くためにも、やはりA／Bテストを実際に何度も試していただきたいと思います。成功と失敗を繰り返しながらデータに基づいて優れたUI／UXを探っていける点が、A／Bテストの面白い点です。