初回の施策は惨敗

――2つの施策を実行した結果は、どのようなものだったのでしょうか。

荒竹：実は初回の施策は惨敗でした。それもコンバージョン率が元のデザインに対して78％にまで落ち込むという、稀に見る惨敗でした。

知久：結果をお聞きした時のリアクションとしては「えっ？」というものになりますよね（笑）。きちんと分析したうえでの改善施策で、成功確率は高そうだったのになぜ……？　と思いました。

荒竹：仮説は合っていたものの、その先のユーザー心理の細部を読み間違えていたのが原因だったと思います。結果を分析したところ、実際に「お仕事開始までの流れ」の情報を見て当該ページに遷移する人は増えていたため、お仕事詳細ページ内での情報としてはニーズがありそうでした。ただ、遷移したあとにコンバージョンしたユーザーはほぼいませんでした。具体的には、離脱する人が約15％、別のコンテンツ等へ遷移してしまっている人が約30％、みたいな。

石井：詳細ページで「お仕事開始までの流れ」を見てくれるユーザーは就業意向が高いはずなので、狙うターゲットとしては間違えていないと思っていました。同時に、閲覧者の中には、応募する案件を決めかねているという悩みもあると思います。結果の解釈として、そうしたユーザーに情報を見せすぎたことによって、より悩ませてしまった可能性があるとの仮説を荒竹さんからいただきました。私も同じ見解だったので、納得して次の施策に進む判断ができたんです。

荒竹：ありがとうございます。これを踏まえて次の施策では「価値のある情報を見せたうえで、穴をふさぐ」ということをしました。具体的には「お仕事開始までの流れ」ページへ遷移するボタンを削除して、「お仕事開始までの流れ」のコンテンツを見たらすぐに次のアクションができるように「Web登録ボタン」に差し替えました。この施策が130％以上の改善に転じ、その他ヘッダーのリンク先を変更する施策などを積み重ね、3回のA/Bテストの累積で179％の改善という結果を出すことができました。

挑戦したからこそ失敗から示唆を得ることができた

知久：冒頭でもお話ししたように、施策が失敗した際の要因分析も弊社の課題だと感じていたので、失敗の裏で何が起こっていたのかということをきちんと分析してレポートしてくれたのはとても良かったです。1回目の失敗から、2回目以降の施策ではどうすればいいのかということがわかりましたし、他のコンテンツを追加するときにも同じ考え方が適用できるかもしれないという学びにもなりました。次につながる失敗だったと思います。

石井：社内に対して「サイト改善のための取り組みは失敗することもあるんだ」という可能性を示せたということも大きな収穫でした。もちろん最終的に“3戦2勝1敗”という結果になったから言えることでもありますが、挑戦したからこそ失敗から示唆を得ることができたんだということを伝える良い材料になったと思います。

――私も講演でたびたびお伝えしているように、サイト改善のPDCAが重要な理由は、打席数（実行施策数）を増やして打率（成功確率）を上げるためなんですよね。数字が下がったときには「この仮説は間違っていたわけだから、そうでない仮説を立てれば成果が出る可能性が上がるんだ」と考え、改善活動の手を止めないこと＝打席に立ち続けることが何よりも大切だと思います。