ビッグデータ活用はなぜ失敗するのか
そもそも「ビッグデータ」とは何でしょうか。その特徴としては一般的に、次の3点があげられています。
- Volume…大量である
- Variety…多様である（POSデータのように単純な成約データだけではなく、Webのアクセスログのようにその間の行動（情報検索工程）までわかる。時にはソーシャル上のデータなども紐づけられる）
- Velocity…高速、リアルタイムである
では、なぜ「ビッグデータ活用」は失敗するのでしょうか。実際の活用に見られる現実から失敗の理由を抽出し、箇条書きにしてみましょう。
ITベンダーがクライアントへ強く推進しているのは、データを収集し、ためることです。「ビッグデータ」という言葉に踊らされ、「何かすごいことができる」という幻想の元、インフラ投資に満足して終わっている企業も少なくないでしょう。
また、無目的にデータを収集してしまうと、いざ活用しようとなった時に大事な情報が欠落しているという例も珍しくはありません。
大規模なハードウェアの導入案件など、大規模化を目指したベンダー主導のプロジェクトでは、いままで蓄積してきたはずのノウハウなどが適切にロジックに組み込まれていないケースも見られます。もちろん、インフラの整備はデータ活用の必要条件ですが、十分条件ではありません。
データ収集後に何をすればよいのか
では、データを収集した後に何をすればよいのでしょうか。
もし現時点のデータが目的を満たしていなければ、まずは適切なデータを取得できるように工夫しなければなりません。大規模データを蓄積・処理できるインフラに加え、大量かつ多様性を抱えたデータの中から「価値ある情報」を見つけるため、大量データを処理し、自由に紐づけられ、統計解析やモデリング等をこなす強力な分析ツールも必要です。
そしてその分析ツールを使いこなし、継続的にノウハウを蓄積していくデータサイエンティストの存在も不可欠となります。データサイエンティストには高度な統計手法を駆使するだけでなく、ビジネスや対象領域への総合的かつ深い理解、そして何よりデータの読解力が必要となります。
マーケティング分野でよく質問を受けるのが、リサーチとデータマイニングの使い分けです。今や、行動の理由「なぜ」についてもソーシャルの活性化によりビッグデータから掘り下げていくことが可能となってきました。しかし、取得できるデータが多岐にわたる分、それぞれのデータをどう使うかがカギとなります。
特定の知見を得るだけなら、古くから手法が確立されている分リサーチの方が効率的に答えを見つけることができるかもしれません。データに出現しない情報について取得したい場合にはリサーチの力が必要な時もあります。つまり、重要なのは本来あるべきは双方の特性を正しく理解し、適切に選択して使いこなすことなのです。
そして何より重要なことは「何をしたいのか？」という「目的」を常に明確にすることです。さもないとといくらデータを集めても、道に迷ったり、中途半端な分析結果となってしまうのです。
また、ビッグデータという言葉に迷わされがちですが、集められたデータは大抵の場合、非常にデータ欠損が多いものです。項目数は膨大にありますが、データ上ですべての項目が収集できるわけではありません。
イメージ図をご覧いただくとわかると思いますが、「データ量≠情報量」というのはリサーチにはない構造です。データが多いからといってより知見が得られるという保証はありません。
“ビッグデータを有効に活用する”には、大量データの中からいかに情報を掘り出すかが重要な鍵を握り、それを担当するデータサイエンティストは、高度な分析スキル以外に、システムの知識、マーケティングの幅広い知識も必要とされています。
