「!」や「?」など細かい点まで配慮した件名テスト
Mircea氏がTwitterのメールマーケティングにテコ入れをして約1年半。その間、大きくはデザインのリニューアルとコンテンツの見直しを実施した。モバイルフレンドリーなレイアウトを取り入れ、画像サイズ、テキストサイズをモバイルに最適化し、コンテンツについては、ユーザーが興味のありそうなニュースをトピックとして抽出し、それぞれ他のユーザーがどんなツイートをしているのかを紹介する形とした。ただしこの形に至るには、何百パターンものABテストが繰り返されている。
そもそも、Twitterという会社自体、データアプローチを好む会社のようだ。Mircea氏によれば、“データから様々なことを学習し、実験することでイノベーションを生む”文化が企業に根付いているという。
彼がメールマーケティングの最適化を実施する上で最初に実施したのは、ユーザーコーホートの抽出だ。まず全体の1%のユーザーを、リージョンなど特定の条件に従って抽出する(※コーホートとは共通した因子を持ち、観察対象となる集団のこと)。
そして3か月間、そのユーザーであらゆるテストを実施する。そして次の3か月間で、また1%の異なるユーザーを抽出して、同じテストを実施。この長期間に渡るスプリットテストによって傾向値を把握し、最適な施策を決定していく。この検証方法によって、データドリブンマーケティングを実践した。セッションでは、その具体的な例が示された。
例えばあるユーザーがTwitterに誰かを招待した場合、A:”Join me on Twitter” を標準パターンとし、新しくB:”Invitation to connect on Twitter”またはC:”(ユーザー名) sent you an invitation”の3つのパターンでどれが最も効果が良いかを検証。すると、以下のような結果となった。
この結果、Cのパーソナライズされた件名が最も効果が高く、数値にするとAに比べ、クリック率、開封率、サインアップ率ともに向上した。こうしたテストを繰り返した結果、Cの効果が最も高いことが分かり、それ以降、招待メールは”(ユーザー名) sent you an invitation”を採用。1%で試したユーザーの結果をもとにすべてのユーザーに適用した。また、他にも下記のように、かなり細かいABテストまで実験している。
- Discover more on Twitter! VS Discover more on Twitter
- Do you know Jack on Twitter? VS Jack is now on Twitter
- Jack and John have tweets for you VS Top tweets
いずれも、前者がWinとなっているが、「!」や「?」をつける、つけないといった細かい点にまで気を配るのはなぜか。Mircea氏は、「件名はつねに開封率を1~10%程度向上させる力を持っている。そして、最も簡単に実験できる。当然そこに力をいれるべき」と語る。
一方で、単純に開封率やクリック率などのメールによる効果を鵜呑みにしてはいけないという警鐘も鳴らす。検証期間中に“ある写真について(誰か)が言及したパターン”と、“ある写真を(誰か)がタグ付けしたパターン”を件名でテストしたところ、後者のほうが開封率、クリック率ともに良い結果をもたらした。
しかし、“ログイン率”を1か月間みてみると、言及パターンのほうが多くログインされていたことが分かった。その理由として、モバイルの影響が語られている。
「つまり、言及パターンのメールを受け取ったモバイルユーザーは、その時点ではそれほど興味を示さないものの、1か月という期間でみれば、多くログインする傾向がある」ということだ。また、「彼らの割合が多いことはすでに分かっていた。そしてこれからも増えていくことは確信している。モバイルユーザーとの長期的なエンゲージメントを築くことが最善の答えだと考え、言及パターンを採用した」そうだ。
Mircea氏はこれを「Data vs Vision」と表現する。目に見える結果(データ)を追うだけでは、やがて落とし穴にはまることが多い。今後何に注力していくのか、重要となる領域は何か、明確な“ビジョン”を持たなければ、データを生かしきることはできない。データドリブンなマーケティングを実践するのであれば、まずはビジョンがあるべきだ。
