「迷いながらCVした人に注目せよ」が突破口に

――はじめに、お2人の役割を教えてください。

中川：デザイナーとフロントエンドエンジニアが所属する部署のマネージャーを担当しています。Webサイトの制作やCVRの改善をチームメンバーと一緒に考えて実施しています。

立石：私は主にSEOを担当しています。最終的なKPIであるサービス利用者数を達成するためにオーガニック流入の拡大に向けた施策を行っています。

――USERGRAM導入前は、どのような課題を抱えていたのでしょうか。

中川：引越し侍は10年以上の運営歴があり、データドリブンにABテストを重ねて成果を挙げてきたのですが、次第に施策が手詰まりになりCVR改善も頭打ちとなっていました。

　そこで外部の力を借りようと、CVR改善の施策を提案してもらえるコンサルティング企業を探している際に、ツール導入も検討の余地があると気づきました。外部コンサルを入れれば短期的には成果は出るかもしれませんが、自社内にはノウハウがたまりづらい。ツールをうまく使って自分たちで施策を設計できるようになれば、ノウハウが社内に蓄積され、中長期的にはチーム、そして企業の力が高まります。そちらの方がより大きな成果につながると判断しました。

――サイト改善をサポートする支援会社やツールは多数あると思いますが、検討候補だった20超のコンサル会社・ツールの中からUSERGRAMを選択した決め手は何だったのでしょうか。

中川：今にして思えば、きっかけは説明に来てくれたビービットの担当者様のお話でした。「一番効率のいいCVR改善のやり方は『迷いながらCVした人』をいかに迷わせないようにするか」という言葉に感銘を受けたんです。

　サイトの改善策を検討する際、離脱して戻ってこなかったユーザーについ目が行きがちだったのですが、「パフォーマンス改善の一番の近道は、離脱して戻ってこなかったユーザーについて考えることではなく、すごく迷った末にCVしたユーザーの行動を徹底的に分析して、そのユーザーが迷わずCVするにはどうすればいいのかをひたすら考えることだ」と気づかされました。打ち合わせが終わってから、自分のチームメンバーにもすぐ伝えたほど興味深い考え方でした。

　USERGRAMではCVしたユーザーの行動の順序や流れを簡単に把握できるので、「迷いながらCVした人」の行動を長期的に俯瞰して、どういう「状況」で迷いが生じたのかを理解し、ユーザー本位の施策へとつなげることができます。「いかに迷わせないようにするか」というメソッドを実践するためにうってつけのツールだと感じ、導入を決めました。

――立石さんは、USERGRAM導入時どのような印象を持たれましたか？

立石：正直なところ、本当に正しくユーザー分析が行えるのか懐疑的でした。

　デジタルマーケティングの領域では、ボリュームゾーンとなるユーザーから徐々にターゲットを絞り込んでいくファネル型の分析をするのが一般的です。対してUSERGRAMの場合は真逆のアプローチで、一人ひとりのユーザー行動を分析し、ユーザー全体の行動を改善する施策を考える方法です。そのため、分析している一人ひとりのユーザーが本当にボリュームゾーンなのか、全体傾向とは異なる例外的なユーザーではないか、という懸念が当初はありました。

　ですが、実際にUSERGRAMを触り、ある程度のユーザー数を観察するうちにイレギュラーな動きをしているユーザーは検知できるし、USERGRAMの機能で特定の行動パターンのユーザーが全体のうちどれくらいの割合で存在するのかが算出できるので、“偏ったサンプリングではない”という安心感が得られるようになりました。

　そのうえ、分析に慣れていない初心者でも直感的に操作して分析できますし、ページを離脱した後の回遊行動をユーザー単位で追えるのは、コンテンツマーケティングに携わる者として魅力的でした。コンテンツがどのように閲覧されているのかを細かく分析することで、コンテンツ改善のヒントを得ることができるからです。

――元々内製でABテストを回されて来たと思うのですが、USERGRAM導入前はどのような流れで運用されていたのでしょうか。

中川：今もですが、ABテストツールを導入し、積極的に運用しています。ABテストにおいて、チャレンジャー側が勝てば「勝ち」とみなし、ABテストの勝率をチームのKPIとして追う、という方針です。

立石：ABテストの前提となる、「ユーザーはこのように行動しているのでは」という仮説については、基本的に、競合分析や離脱率・直帰率などGoogleアナリティクスで取得できるデータを起点とし、このページで離脱率が高いのはなぜだろうという気づきを起点に、ユーザー視点に立って考えてみていました。

中川：グループ内の他の企業・サービスの成功事例を横展開することも多いですが、定期的にユーザビリティテストも実施して改善につなげています。当社の新入社員に自社サービスを使ってもらい、使いづらかった部分を指摘してもらう、というやり方です。

――元々エイチーム引越し侍さんには、ユーザー視点で考える、ユーザー行動を想像して施策につなげるという文化が根付いていて、実際にサイト上で起きているユーザー行動の順序や流れ（シーケンス）を観察できるUSERGRAMと出会うことで理想的なABテストが実現した印象を受けますね。

ABテストツール上の「勝ちパターン」は偶然かもしれない

――そしてUSERGRAMを導入されたわけですが、最初にどのようなことに取り組まれたのでしょうか。

中川：USERGRAMを使えるようになって最初に着手したのが、「ある“勝ち施策”の検証」でした。その施策とは、フォームへと誘導するクリエイティブをファーストビューで表示するものなのですが、従来のものよりも高いCVRが計測されたため、同様のクリエイティブを複数のページで掲載していました。そして複数のページでCVRの改善が見られていたんです。

立石：同じクリエイティブを複数のページのファーストビューで表示することでCVRは上がりました。ですが、異なるページに流入しているということは、異なるニーズを持っているであろうお客様なので、同じ訴求のファーストビューを見せることには違和感を持っていました。

　UX観点では本当にこれでいいのかと、たびたび議論していましたが、数値上は、同じクリエイティブを複数のページのファーストビューで表示した方がCVRで勝利していたため、ファーストビュー統一からの脱却に踏み切れなかったのです。

中川：そこでUSERGRAMを利用し、ファーストビューの統一は本当にCVR改善に寄与しているのかを分析してみました。すると、私たちが立てた仮説とは異なる行動を経てCVするユーザーがとても多かったのです。私たちは、コンテンツページを訪問後ファーストビューのクリエイティブを見てすぐにCVしていただけるような導線を設計していたのですが……。

立石：実際は、コンテンツページに訪れたユーザーは、一旦離脱したり、サイト内の他のコンテンツを読みこんだりしたうえでCVしている方がほとんどでした。クリエイティブにより、CVRが向上していたものの、仮説通りではない勝ち方をしていたのだと気づけたのです。

中川：ABテストを行う際は分析対象となるサンプル数が少ないケースや、パターン間の「改善幅」も数値としては小さいことがしばしばあり、本当に改善されたといえるのかの見極めが難しいことがあります。

　ABテストではチャレンジャー側がデフォルト側のクリエイティブよりも勝っているのかを統計的検定で検証することができますが、仮説が正しいことを保証してくれるわけではありません。結局、偶然チャレンジャー側が勝利した可能性を捨てきれないのです。

　事実、過去にまったく同じクリエイティブをAとBに分けてテストを行ったところ、AがBに対して統計的に有意な差をつけて勝利してしまったことがありました。当然AとBは同じクリエイティブなので、このCVRの差は偶然生じたものと考えています。通常のABテストにおいても、本来は差がないのにいずれかのクリエイティブが優れているかのような結果が出ることがある、という教訓になりました。

　だからこそ、ABテストの結果を鵜吞みにせず、CVユーザーの行動を時系列で観察し、観測された事実に基づいて仮説が正しいかをダブルチェックすることが大事だと考えています。