元々準備していたデザイン＋3つのバリエーションを用意

押久保：では、具体的にどのようなテストをされたのか、教えていただけますか？

一色：テストを設けたのは、いずれもスマートフォンのUIです。トップページと、デザイン選択後の注文画面、それから少しデザイン性の高いシリーズを集めた「LETTERS」の3カ所で、それぞれ4パターンを用意しました。

　配信日数は少し異なりますが、いちばん成果が上がったトップページでいうと、12月10日から13日23:59までの丸4日間。27,000ほどのユーザーに、25％ずつ4パターンを出し分けました。

押久保：3カ所とも、既存＋3つのバリエーションという形でデザインを用意されていますね。特にトップページは、既存とそれ以外でかなり見た目が異なっています。これは、どのように構築されたのですか？

一色：既存というのが、今回の現場担当を任せた若手スタッフが中心になって、今年用に準備していたものです。バリエーション#1は、彼が野口さんのアドバイスを元に仮説を立てて考案したもの。#2と#3は、それをさらに野口さんにふくらませてもらったものです。

　具体的には、既存のデザインは「選択肢をすべて見せよう」という観点で、ボタンを並べています。バリエーション#1は、ユーザーが来たときにまず何をするのかを考えて、やはり「デザインをチェックする」のだろうと。それを仮説として、このページ内でデザインを見せました。#2はさらにメリットを訴求、#3はキャンペーンを強調しつつ注文フローを載せています。

仮説を元に振り幅の大きい案を出せたことが勝因

押久保：具体的に、何をKPIにしたのですか？

一色：デザインを選んだ後の画面で、注文ボタンをクリックした率をKPIとしました。これが#3で300.9％となりました。ただ、#1で276.1％、#2で299.1％と軒並み高かったですね。サブKPIとしていたトップページのサムネイルのタップ率も、いずれも130～140％ほどになりました。

　また、デザイン選択後の注文画面では「注文する」ボタンを「このデザインを選択する」という文言に変えたバリエーションを設けたところ、これが最も高いコンバージョンになりました。確定という意味合いは同じなのですが、ハードルを下げてみたんです。その分、最終決済数が減るかと懸念もありましたが、ここは下がらなかったので、押された分だけ注文も伸びました。

押久保：そもそも今回のテストは、通常のABテストと比べてどういった点がよかったのでしょうか？

野口：しっかりとした仮説を元に、既存デザインに対して振り幅が大きいバリエーション案を出せたことが大きいですね。300％という数値は、当社内もざわついたくらい高いです。

　元々、ABテストは細かくPDCAを回して成果を積み上げるものなので、“1ラウンド1本勝負”はお勧めしていないんです。ただ、今回はABテストを試す背景などから進めることになったので、それならなるべく多くの人が訪れる場所で、複数案を試すほうが知見を得られます。なので、一等地であるトップページでテストができたのも、勝因でした。