クリエイティブの良し悪しはマーケターが決めるものではない
――橋本さん、飯島さん、梅澤さんによる座談会形式の取材も、これで最後になります。最後までお付き合いのほど、よろしくお願いいたします！
プリンシパルビジネスコンサルタント 橋本 翔氏
（中央）同部 ビジネスコンサルタント 飯島 亮介氏
（右）同部 シニアビジネスコンサルタント 梅澤 朋央氏
――さて、今回は「9．どのクリエイティブ／デザインが良いかは机上で考えずにA／Bテストすべし」からうかがっていきます。これはつまり、広告クリエイティブやサイトのデザインの良し悪しを担当者だけで判断すべきではない、ということでしょうか？
橋本：おっしゃる通りです。本来、クリエイティブやデザインの評価は、それを見て体験したお客様が行うもので、マーケター自身が評価できるものではありません。したがって、どのクリエイティブ／デザインを採用するかの社内での議論は最小限に抑えて、その分、A／Bテストの実施回数を増やすべきでしょう。
A／Bテストを行う際に最初に留意いただきたいのは「母数（サンプルサイズ）」です。A／Bテストは、対象者となる母数が一定以上必要であり、少なすぎる母数では、CVRに大きな変動を起こしてしまう可能性があります。しかし、テストするクリエイティブ／デザインのバリエーションが増えると、その分多くのトラフィックが必要になります。これが原因で母数を十分に確保できなければ、仮にA／BパターンのCVRに差があった場合においても、統計的有意差は検出されません。したがって、A／Bテストを始める前に対象となる母数を把握した上で、どれだけのパターンをテストするかを決めておくと良いでしょう。
各セグメントで最適なクリエイティブが違うことも
飯島：私も橋本さんと同意見です。担当者が直感だけで判断するのではなく、A／Bテストという客観的な指標も参考にすることで、外れるリスクを最小限にできます。
また、単にAとBどちらが勝った・負けたという結果以外にも、同じテストをセグメント別で実施してみると、「このセグメントではAが効果的で、あのセグメントではBのほうがクリック率は高かった」など、セグメントごとで当たりクリエイティブが違った、なんてこともあるでしょう。
橋本：サイト改善だけでなく、メルマガ改善にもA／Bテストは有用です。「メールの件名」「本文内のクリエイティブ」や「パーソナライズされたエリアのロジック」「配信時間帯」などのA／Bテストを継続的に行うことで、多くの“勝ち”パターンを蓄積できます。そして、この複数の勝ちパターンをそのままMAツールのメール配信テンプレートに落とし込むのです。そうすれば、メルマガ全体の開封率およびクリック率アップにつながるでしょう。
梅澤：ちなみに、テスト結果に基づいてサイトのUI／UXを全面的に変更したがるクライアントもいらっしゃいますが、それはやめておいたほうが良いでしょう。まずは、一個一個の問題点を段階的に改善させていく部分最適を私はお勧めします。
