メリット1 顧客インサイトの発見と自社マーケティング戦略への反映
顧客をよりよく知ること、つまり顧客インサイトの発見は、マーケティングの基本中の基本であることは言うまでもありません。しかし、Webマーケティングの世界では、この基本を忘れてしまい、マーケティング施策中心の議論がなされがちです。
マルチバリエイトテストでは、ページを構成要素分けして、構成要素ごとに複数のパターンを用意します。このパターンはとりあえず数種類用意すればよいわけではなく、マーケティング的な仮説に基づき検討されるものです。例えば画像ひとつとっても、商品の機能訴求、価格訴求、利用シーン訴求、得られる価値訴求、期間限定的であることの訴求など、どういったメッセージがユーザに訴求しそうであるか、いくつかの仮説を検討したうえで、テストするクリエイティブを作り上げます。
このようにマーケティング仮説に基づくパターンをテストして得られる結果は、ユーザが好感を示し反応を示すメッセージの発見そのものです。このようなテストを繰り返し実施し、またユーザセグメント別に実施することによって、ユーザをよりよく知ることができ、顧客に対する知見=顧客インサイトを発見・蓄積することができます。
自社サイト事例
去る8/1にWebマーケティングROI DAYというWebマーケティングのカンファレンスを自社開催したのですが、実はこのときに自社サイトでテストを行い、サイト訪問者がどういったメッセージにより反応するか、検証を行っていました。
残念ながら十分な準備期間がなかったため非常に簡単なテストしか行っていませんが、日本で行われたマルチバリエイトテストの数少ない事例として、紹介したいと思います。 テストに際して、以下のようなマーケティング仮説を持っていました。
・エリック・ピーターソン氏の名前はクリックを促す(エリック氏は基調講演のスピーカー)
・イベント名称をアピールすることは訪問者に興味を持たせる
・「事前登録」は訪問者に期待させる
・「詳細」と表記されたボタンは訪問者に興味を持たせる
これら仮説に基づき、2つのページ構成要素に対して、それぞれ3種類のクリエイティブをテストしました。
メッセージ部に「第3回WebマーケティングROI DAY開催決定!」、ボタン部に「来場事前登録」とした組み合わせをデフォルトとして、デフォルトよりもどういった組み合わせがどの程度効果があるか検証しました。また、同時にサイト訪問時間別に、最適な組み合わせの違いがあるか検証してみました。

結果として、ボタン部が「詳細」を訴求するものに変わっただけで、4.44%~6.01%の改善効果が現れました。今回はたった2箇所しかテストしていませんが、より多くの構成要素を同時にテストすることにより、更なる改善効果が見込めると考えています。
正しかった仮説
・イベント名称をアピールすることは訪問者に興味を持たせる
・「詳細」と表記されたボタンは訪問者に興味を持たせる
間違っていた仮説
・エリック・ピーターソン氏の名前はクリックを促す (エリック氏は基調講演のスピーカー)
・「事前登録」は訪問者に期待させる
エリック・ピーターソン氏は私の会社では有名人ですが、社内的に驚きであったのは、基調講演のスピーカーであるエリック・ピーターソン氏の名前がクリックを促さなかったことです。アクセス解析の世界の第一人者であるのに…しかし冷静に考えてみれば、これは当然の結果といえます。
Webマーケターの方からすると見たことも聞いたこともない人であり、「参加してみよう!」と促されないのも無理はありません。 しかし、このことはテストをするまで全く気がつきませんでした。今回の自社サイトでのテストによって改めてユーザの視点に立った情報発信の重要性に気づかされた事例となりました。
マーケットリサーチエンジンとしての機能
eBayでは、マルチバリエイトテストはサイトのパフォーマンス向上だけではなく、顧客インサイトを発見するための手法と位置づけており、非常に有効なマーケットリサーチエンジンであると言っています。テストによって証明された顧客インサイトを、様々なオンライン・オフラインのマーケティングコミュニケーションやeBayのビジネス戦略全体に活用しています。
マーケットリサーチエンジンと位置づける別の理由として、テスト結果の信憑性があげられます。Webを利用したユーザ調査として、Webアンケート調査やユーザビリティテストがありますが、これらは以下のような課題を含んでいました。
- 調査項目やテストシナリオは、テスト実施者が何かしらの意図を持って作成する
- 被験者は、それが調査やテストであることを認識しており、通常の被験者の意見や行動であることは保障されない
- サンプル数が不十分な場合がある
マルチバリエイトテストでは、上記のような課題を解決しています。テスト実施中、テスト対象ページを閲覧するユーザはそのページがテスト中であることを認識しないため、ユーザの通常時の反応を把握することができます、また、サンプル数という観点では、数千数万のユーザをサンプルとしてテストを実施するため、より精度の高い結果を得ることができます。