ついやってしまっているケースも？データ分析の失敗

　ソフトバンク、Treasure Data、博報堂の3社合弁企業として2019年に設立されたインキュデータ。「アイデアが自走できる世界をつくる。」というPurposeのもと、データ分析基盤の構築・運用から、データ領域における戦略策定、施策実行のためのコンサルティング支援まで、データ活用における課題解決をワンストップで手掛けている。

　同社のソリューション本部 データサイエンス部 部長の松本淳志氏と同部に所属する柳下亮平氏は、主に顧客分析、マーケティング分析の支援を行うデータサイエンティストだ。

　講演の冒頭、松本氏は「クーポンの効果検証」の事例をもとに、データ分析で陥りがちな失敗を紹介した。

　「NGなケースとして多いのは、『クーポンを配った人と配っていない人のLTVを一つの時間軸だけで直接比較すること』です。基礎中の基礎ではあるのですが、意外と現場ではやってしまっているケースが多いと思います」（松本氏）

　「クーポンを配った人と配っていない人のLTVを直接比較すること」がなぜNGなのだろうか。その理由について柳下氏は「クーポンの配布施策を行う時点で効果検証を念頭に置いた綿密な配布計画を立てていない限り、分析結果から正しい示唆を得ることが難しい。それは、配布対象の顧客と非配布対象の顧客でそもそものロイヤリティが異なるから」と語った。

　「購買意向が高い層は施策の有無にかかわらず購買行動を起こします。そこに施策が重なると、その施策の効果量はいわば“下駄を履いた状態（バイアスが含まれた状態）”になってしまうのです。つまり、バイアスを考慮せずに施策を評価してしまうと、純粋な施策の効果はわかりません。ご相談させていただく多くの企業様から、その分離ができなくて困っているという声をいただいています」（柳下氏）

　つまり、元々購買意欲が高い層は施策の結果から分離するなど、正しい差分を得るための設計がデータ分析の重要なポイントとなるのだ。上図のクーポン配信タイミング後の「8000円」と「5000円」だけ比較し、それらが統計的な有意差があったとしても安易に効果ありと断定できない。

データの時間断面を意識することが最大のポイント

　松本氏によれば「クーポンを配らなければ買わなかったが、クーポンを配れば買ってくれる人を見極め、狙って配る」のが最も効果的な方法だという。しかしその実現には、クーポン配信前から効果検証を前提とした綿密な計画が必要になる。

　そこで松本氏が「今回の肝」と提示したのが、「時間断面を意識する」という考え方だ。簡単に言えば、配布前（過去）と、配布後（現在）の2つの時間軸を比べたときの効果量に着目するアプローチである。

　この手法により、「クーポンを配った人たちと配らなかった人たちにおいて、どちらのほうが増販効果を得られたか」というざっくりとした比較が可能となる。ただし、ここで差がなかった場合、「クーポンの効果はなかった」と判断してしまうのは時期尚早だと松本氏はいう。

　「さらに先のデータ（未来）を見るという観点もあります。直後のデータを見るのが『直接効果』だとすると、未来のデータを見ていくことは『間接効果』の推定です。配布直後の行動は変わらなかったけれど、1年後を見ると、配布した顧客のほうが生存率が高いケースがあります。この場合、間接効果があったと判断することができるでしょう」（松本氏）

　ここで柳下氏から「特に間接効果が期待される、業種やサービス、商品の傾向はあるか？」と問いが入った。松本氏はこう答える。

　「私の経験上、比較的ライフサイクルが短く、繰り返し店舗に来店するような業種では、クーポンのような施策で生存率に差が出るケースがあります。ただし、時間断面で比較し、直接効果と間接効果を見るという考え方については、どんな業種、サービスでも広く使えるものであると考えます」（松本氏）