ステップ3 忘れないように！ モデルの検証と比較

　忘れられがちなのが次のステップ、「モデルの検証と比較」です。モデルの作成ステップで発見された「法則性」が未来にも当てはまるためには、別なデータでも法則性が当てはまることを確認するほうが安全なのです(※1)。そのステップを要約すると、3つに分けられます。

　学習データとはモデル作成の際に使うデータです。つまり、案件化した顧客としなかった顧客の違いを各種データで説明付けるという、コンピュータによる学習の材料となるデータです。 検証データとはモデル作成を実施した後に、作られたモデルできちんと予測ができているか検証するためのデータです。後述の手順2で検証データをどう使うか説明しています。

　 過去データを学習と検証の2つのデータに分けますが、その方法には無作為に抽出する、など数多くの方法があります。ここでは詳細には触れませんが、最近の統計ソフトはこれも自動実行しますので、ご心配なく。

　手順2の「当てはめる」とは、学習データで発見された説明変数と目的変数の間の法則性（モデル）が、「検証データ」でも同じように当てはまるかを確認することです。具体的には検証データの説明変数にその法則性を当てはめて、「案件化する／しない」（目的変数）をモデルに予測させ、それが実際の値と十分に一致しているかをチェックします。

　手順3の精度の確認ですが、「可能性が高いと予測された顧客100社からは実際に多くの案件化が得られ、可能性が低いと予測された顧客100社からは案件化の数が少ない」、などのメリハリがあることを確認します。また、そのメリハリの付き方が「学習データ」と「検証データ」の両方で同じように見られることを確認します(※3)。

　上記の精度のチェックはステップ２のモデル作成の最後で紹介したいくつかのパターンの複数モデルの比較をする上でも大切なプロセスです。

　最近の統計ソフトの中には、「モデルの検証」の全ステップを「モデルの作成」と同時に自動的に実行しレポート作成までしてくれるものがあります。適宜ご活用ください。

ステップ4 予測とビジネス活用

　最後のステップはいよいよ「予測」です。現時点（t）の各種情報を説明変数にして、将来の「案件化する／しない」を予測します。

　会社によっては予測結果を実際のセールス・マーケティングのアクションに移す前に、マネージャーの了承が必要な場合もあるでしょう。

　その場合、アナリティクスによるセミナー案内と従来の方法とを数字で比較すると論理的で説得力があります。例えば、従来なら100名のセミナールームをいっぱいにしても、そこからセールスコールにつながるのが5社程度。そこから案件化するのは1社あるかないか、だったとします。それに対し、アナリティクスを活用すれば100社から8社案件化が可能となれば、売上増加メリットもコスト削減メリットも訴えることが可能です。

　1回のセミナーを実施する同じコストで得られる案件化額が増大するという表現も可能ですし、同じ案件化額を得るために必要なセミナー開催コストの削減という表現もまた可能でしょう。

おわりに

　さて、今回のテーマ「ターゲティング」はいかがでしたでしょうか。実際のステップは意外にシンプルであることがお分かり頂けるかと思います。弊社SASでは、今回のステップ全てを一瞬で実行できるツールをご提供していますので、ご興味のある方はこちらをご参照ください。

　次回は「ウォレットサイジング」がテーマです。今回扱った「案件化しやすい顧客」に「案件化する価値のある顧客」という観点を加え、より立体的な議論をしたいと思います。お楽しみに。

※1統計学者の中には統計数値の正しい評価をしさえすればモデルの検証としても十分と言う人も存在しますが、少しハードルが高いかもしれません。この記事では簡易な方法を紹介します。
※2「学習データ」と「検証データ」は別々の時点データを使うことも多いのですがここでは説明を簡略化しています
※3これらを統計的にきちんと検証するために、多くの手法やレポート方法が開発されています（ROC、リフト、誤分類率など）。ご興味のある方は、マーケター向けAnalyticsゼミナールのサイトをご活用下さい。