2群の前後差を比較する「差分の差分法」

　「プレ・ポスデータ」を使った効果測定の方法論として、最も用いられるものは「差分の差分法（Difference in Differences： DID）」と呼ばれるものです。

　差分の差分法の計算方法は非常にシンプルです。まず処置群（クーポン獲得顧客）の「ポスト（施策実施後）」と「プレ（施策実施前）」の結果の平均値の差を取ります（＝差分1）。次に、対照群（クーポン非獲得顧客）についても「ポスト」と「プレ」の結果の平均値の差を取ります（＝差分2）。最終的に差分1と差分2の差をとることで、施策の効果を測ります。2つの差分の差分を取ることから、「差分の差分法」と呼ばれています（図3）。

　なぜ、この計算方法で正しい効果が特定できるのでしょうか。これを理解するには、前編で紹介した「真の効果」のフレームワークが役立ちます。このフレームワークでは、同じ個人について、「クーポンありの場合」と「なしの場合」の2つの世界を想像していました。

　プレ・ポスデータを用いた効果測定は、クーポン獲得顧客の入手できない「クーポンなしの場合」の購入金額を、「プレ」の購入金額で補完するという考え方に立脚しています。クーポン獲得顧客であっても、施策期間前にはクーポンを持っていないためです。「プレ」も「ポスト」も、同じ個人・集団によるデータのため、「ロイヤリティ」などの属性や要因に違いがなく、この補完ではそれらに起因するバイアスを回避できます。

　ただ、「処置群での施策前後の差分」をとるだけでは、まだ他のバイアスが残っている可能性があります。外部環境の違いなどに起因する、プレとポストの時期・季節の違いによるバイアスです。

　販促キャンペーンは、対象商材への需要が高い時期に実施されることがあります。その場合、施策期間前の購入金額を施策期間中の「クーポンなしの場合」の購入金額としてみなすことはできません。なぜなら、キャンペーンの時期は、同時に顧客の購買意欲が高い時期でもあるので、クーポンがなかったとしても、施策期間前より購入金額が多くなる可能性があるためです。つまり、「処置群での施策前後の差分」は、施策の効果に加えて、季節による影響を足したものになっていると言えます。

　「差分の差分法」では、この季節によるバイアスを「対照群での施策前後の差分」を使って特定しています。クーポン非獲得顧客には、施策の影響がないため、施策期間中と期間前の差分を取ることで「季節の違いによる影響」のみを取り出すことができるわけです。そして、その値を「処置群での施策前後の差分」から差し引くことで、季節に起因するバイアスを除去し、純粋な施策の効果を特定します。

「差分の差分法」でテレビCMの効果を測る

　マーケティング施策の効果測定において「差分の差分法」が最も活用できるシーンは、広告が売上に与える効果を測る「セールスリフト」の分析です。テレビCMが売上に与える効果を測定するケースで、特に相性が良いと言われます。

　テレビCMの効果は、放映地域と非放映地域で売上金額を比較することによって測定されることも多いと考えられますが、この測定には問題があります。CMはその商材への購買ポテンシャルが高い地域に出稿されている可能性が高く、その場合、放映地域と非放映地域の売上金額の差は広告による差のみならず、購買ポテンシャルの差を含んでいる可能性が高いためです。

　また、傾向スコアによる分析の実施も困難と思われます。テレビという機器の特性上、個人レベルでCM接触情報と購買履歴を正確に取得するハードルが高く、エリア単位の売上データで効果測定を行うことが求められるためです。

　エリア単位の売上データは、POSデータなど、時系列でその変化を追えるものが多く、放映地域・非放映地域のどちらも広告出稿前後の売上金額の追跡が可能なため、差分の差分法が適用できます。平均値の引き算を繰り返すだけの手法であるため、粒度も問題になりません。

　この効果測定の特筆すべき点は、エリア単位の売上データだけで、他の広告の効果を取り除いた「テレビのみ」の効果を特定できる可能性があるという点です。仮に同時期にWeb広告を出稿していても、そのWeb広告がCMの放映地域・非放映地域どちらにも出稿されていれば、「差分の差分」をとることで、その影響は消去されます。つまり、Web広告が売上金額に与える効果は「季節による影響」の一種とみなされ、測定結果には含まれない、ということです。