データ収集段階のよくある落とし穴
データを揃える段階で生じる偏りは、後からデータを整えても取り除けません。どの人の、どの期間のデータを取ってくるかで、結果の前提が決まってしまうからです。ここで、データ収集で気をつけるべき3つのポイントを紹介します。
1.生存者バイアス
購買パネルでは、モニターが登録をやめたり、退会したりすることがあります。こうしたモニターは、実際の購買行動は変わっていないのに、データ上は離反したように見えてしまいます。そのため、分析対象は基準期間・直近期間の両期間を通じて登録を続けているモニターに絞ります。
問題は、「登録を続けている」をどう判定するかです。次の図1では、自社での購買記録で判定する方法と、スーパーなども含めた全体の購買記録で判定する方法を比べています。
- モニターA：X社の店舗にも他店にも通い続けている。どちらの判定方法でも対象に残る
- モニターB：登録そのものをやめた。どちらの判定方法でも除外され、これは正しい
- モニターC：他店での登録は続いているが、X社の店舗には来なくなった。今回見つけたい離反顧客だが、X社の記録で判定すると除外されてしまう
Cを除いてしまえば、「離反は小さい」と誤って結論づけかねません。生き残った人だけを見て判断する、典型的な生存者バイアスです。継続はスーパーなども含めた全体の購買記録で判定し、Bだけを除外してCを残します。同じ理由で、優良顧客も設計書どおり基準期間の購入金額で選びます。
2.期間設定のバイアス
どの時期のデータを取るかによっても、結果は変わります。たとえば基準期間を夏の数ヵ月だけにすると、その時期に日焼け止めをまとめ買いした人が優良顧客に入りやすくなります。夏が終われば購入は自然に減るため、競合へのスイッチがなくても、「来店間隔が延び、健康・美容の購入が減った優良顧客」が生まれてしまいます。
では、期間は長ければ長いほどよいのかというと、そうとも限りません。購買パネルのような外部データは、取得する期間が長いほど費用もかさみます。
期間は、扱うカテゴリーの特性と、データの取得可能期間や予算を照らし合わせて決めます。今回の健康・美容カテゴリーは、花粉症シーズンやUV対策シーズンで需要が大きく動くため、設計書では比較のベースとなる過去の期間（基準期間）と、現状を把握するための最近の期間（直近期間）をそれぞれ通年の12ヵ月としました。一方、季節による変動が小さいカテゴリーであれば、より短い期間で十分なこともあります。予算の都合で通年を確保できない場合は、直近3ヵ月とその前年同期の3ヵ月を比べるなど、両期間の季節を揃えることでも偏りは避けられます。大切なのは期間の長さそのものではなく、比べる期間同士の条件がそろっているかです。
3.サンプルの代表性
モニターの年代や居住地域の構成は、実際の顧客構成と一致するとは限りません。自社の会員構成と比べ、ずれがあれば結果を読み解く際の注記として残します。あるいは、性年代や居住地域の構成を自社の会員構成に合わせるよう、重み付けして集計する方法もあります。
AIを活用したデータ収集
この工程でのAIの使いどころは、抽出要件の整理と外部データの探索です。なお、AIに渡すのはテーブル構成・定義書と、表3のようなダミーのサンプルで十分です。個人単位の実データを外部のAIサービスに入力するのは、セキュリティポリシーの観点からも避けましょう。
使いどころ1：抽出要件と確認事項を整理させる
分析設計書とデータの定義書を渡し、抽出に必要な項目と条件を整理させます。
◯定義書と分析設計を突合させるプロンプト
以下の分析設計書を、購買パネルデータ（調査モニターが店舗を問わず、購入した商品のバーコードを読み取って登録したもの）で実行したいと考えています。
- 【分析設計書】（設計書を貼り付け）
- 【データ定義書】（テーブル構成・項目名・説明を貼り付け）
設計書の各定義をどの項目で計算するか対応表にし、定義書だけでは判断できない点をデータ提供元への確認事項として挙げてください。
ポイントは、判断できない点を明示させることです。AIは「金額は値引き後」のように、定義書にない前提を勝手に置いて対応表を埋めることがあります。また、データがどのような仕組みで集められたかを伝えると、登録の途切れや生存者バイアスのような取得の仕組みに由来する論点まで指摘してくれる可能性が高まります。
使いどころ2：外部データの候補を洗い出させる
購買パネルデータがあれば、今回の仮説、つまり「競合へのスイッチが起きているか」は確かめられます。しかし打ち手を考えるには、その一歩先の「なぜ、いつスイッチが起きたのか」まで知りたくなります。たとえば第2回では、「近隣への競合出店」や「競合のポイント施策の改定」を原因の候補に挙げましたが、出店の時期や施策の内容は購買データには記録されていません。
このように、仮説の先にある要因を検証するためのデータを外部から探す場面でも、AIは役立ちます。次に何を検証したいかを伝えれば、使えそうなデータの候補を幅広く挙げてくれます。
◯次ステップの検証を見据えたデータ洗い出しプロンプト
購買パネルデータを使って、以下の仮説を検証しています。仮説が支持された場合、次に「競合へのスイッチがなぜ、いつ起きたか」を検証したいと考えています。そのために必要な外部データの候補を挙げ、候補ごとに、入手先、粒度、手元データとの結合方法、検証への寄与を表にしてください。
- 【仮説】（仮説を記載）
- 【手元データで分かること】各モニターが、いつ、どのチェーンで何を買ったか。性別・年代・居住地域
すると、たとえば次のような候補が返ってきます。
| 外部データ | 入手先の例 | 粒度 | 結合方法 | 要因検証への寄与 |
|---|---|---|---|---|
| 競合 A 社の出店情報（所在地・開店日） | 各社の店舗一覧・ニュースリリース、商用の店舗データベース | 店舗×日 | モニターの居住地域×時期 | 来店間隔が延び始めた時期と、近隣への出店時期が一致するかを確認 |
| 競合 A 社の販促情報（ポイント施策・セール） | ニュースリリース、チラシ情報サービス | 施策×期間 | 時期 | スイッチが増えた時期と施策の時期が一致するかを確認 |
| 花粉飛散量・紫外線量 | 気象庁など | 地点×日 | 居住地域×時期 | 健康・美容カテゴリーの需要の年ごとの差を補正 |
| 品目別の家計支出 | 総務省「家計調査」 | 地域×月 | 時期 | 市場全体の需要変化を把握 |
ここから先は人間の判断です。
花粉飛散量や家計調査は、スイッチの理由を説明するデータではなく、需要全体の変動を捉えるデータです。「なぜ、いつスイッチが起きたか」という今回の目的には直接つながらないため、優先度は下がります。
出店情報は最も有力ですが、モニターの居住地域が都道府県単位しかわからなければ「近隣への出店」とは言えません。AIが挙げた入手先が実在するかの確認も含め、どの外部データを、どこまでのコストをかけて揃えるかを決めるのは人間の仕事です。
データ収集は、データを「集める」以上に、収集可能なデータで何が見えて何が見えないかを「見極める」作業です。次回は、揃えたデータの中身を確かめて整えるデータ品質確認・前処理のフェーズを解説します。
この記事は参考になりましたか？
- この記事の著者
-
上田 拓朗（ウエダ タクロウ）
株式会社RONNABYTE ブランド＆マーケティンググロースDiv マネージャー
西日本旅客鉄道株式会社を経て、2022年に株式会社エイトハンドレッドへ入社。購買行動データ、Webアクセスログ、意識調査データ等を活用した業界横断的なデータ分析に従事。直近では、大手レジャー予約プラットフォームにおける販促・プライシング戦略...※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
この記事は参考になりましたか？
この記事をシェア
