テキスト・マイニングの落とし穴
皆様こんにちは。SAS Institute Japanの津田です。3回シリーズで「マーケターのためのアナリティクス活用講座」。今回が最終回の本コラム、最後のテーマは「テキスト・マイニング」です。本コラムの流れとしては、テキスト・マイニング失敗の代表例としてB社のケースをご紹介、どこが悪いのか解説、実際の事例紹介、という順でご紹介します。
テキスト・マイニングという言葉を聞くことが最近増えてきました。「テキスト・マイニング」をキーワードにネット検索をすると、多くの分析ツールや「テキスト・マイニングとは」といった解説が紹介されています。色々な定義がありますが、共通している点はテキスト・データから有用な知見を導き出すこと、と言えそうです。
Webで分析ツールの紹介を見てみると多くの知見が得られそうでワクワクしてきますね。シンプルな操作性や得られる知見の奥の深さが謳われており、また最近ではアンケートなど社内データに加え社外のSNS（※1）を直接分析できるものも製品化され、機能が豊富になってきています。
さて、マーケティングでのテキスト・マイニング活用が今回のテーマですが、マーケティングも幅が広いため、今回はB社を例に取ってご紹介します。B社は消費者を対象にした製品の製造と販売をしており、商品は中間業者経由で消費者に届けています。同社のマーケティングのミッションは大きく二つ。一つ目は商品の購買を喚起するようなマーケティング・メッセージを作り価値を訴求すること、二つ目が市場の状況を捉えて会社にフィードバックすることです。9月入社の新人X君は大学でテキスト・マイニングを学んでおり、マーケティングで活用したいと張り切っています。
新人X「SNS分析ツールをわが社でも導入しましょうよ。」
ある日、新人X君はリーダーY氏に提案しました。なぜなら、B社は「販売」するといっても中間の流通業者に卸すだけで、自分たちの製品に対する消費者の声を本当の意味で聞けていないのです。
リーダーY「ネットのクチコミなんてオタク率が高そうだし、偏った結果にならないか？」
新人X「最近は主婦も社会人も、みんなネットは使いますよ。ヘタに流通卸の担当者との会話だけで判断するよりも市場のことはわかりますよ」
リーダーY「市場を知りたければ月次売上報告書の数字で十分じゃないのか」
新人X「それって結果の数字でしょ。消費者がなぜ買ってくれるのか知りたいのに数字だけだとわかんないですよ」
たった一人の卸担当者との会話から重要な判断をして成果につながらなかった過去の失敗を思い起こすと、雑多とは言え多数のテキストを分析して判断を下すほうが良さそうです。また、なぜ買ってくれたのか、なぜ買ってくれないのか？ そんな消費者の思いを知るには直接消費者の生の声を聞くほうが、月次報告書を見ながら想像するより良さそうです。
※1 Social Network Service。インターネット上のやりとりを通して社会的つながりを構築するサービス。Facebookが代表例ですが、ブログや掲示板も人同士をつなげる機能に着目すればその中に含めることができます。
SNS分析ツールでできること／できないこと
首尾よくリーダーを説き伏せてSNS分析クラウドサービスを導入した新人X君。導入後2ヶ月たった今日このごろ、何だか顔色が優れません。
リーダーY「どうだい、SNS分析ツールは？『消費者がどうして買うのか』わかった？」
新人X「面白いコメントは沢山あります。でも、本格的なマーケティング活動として提案する自信はないです。まして『商品開発にフィードバック』なんて実際は不可能です」
多くの場合ネットのクチコミが抱える問題は、書いた人が誰なのかが判らないため回答者の偏りがどの程度あるのか判然とせず、そこでの傾向がマーケットを代表していない点にあります（※2）。全体の縮図としてのサンプルでない限り、そこから結論を拙速に出すのは危険です。また、クチコミそのものも作り話である可能性もあり、所詮は「こんなことを言っている人がいた」ということがわかるだけです。それならWebをブラウザーで見ているのと本質的に変わりなく、投資の正当化は難しそうです（※3）。
つまるところ、新人X君の今回の失敗は、「消費者の多様な意見が読める」ことを導入の効果と説明していれば良かったのに、それ以上の期待を抱かせてしまったところにあります。もちろん、素晴らしいコメントをネットに書き込む人もまれにいるかもしれず、その場合はマーケティングや商品開発の参考にすることも可能になるかもしれません。ですが、最初からそれを期待するのは間違いです（※4）。
このように、テキスト・マイニングの難しさは、比較的新しい技術であるため活用の仕方や期待できるメリットが認識として定着していないことに起因することが多いのです。そこで、ここでは実際の活用事例とそれを支えたマイニング技術をかいつまんでいくつかご紹介します。
※2 プロペンシティ・スコアリングという回答者の偏りを補正する技術があり、この場合も応用可能性がありますがここでは単純化のため着目しません。
※3 イベント実施や新製品発表などの前後で比較してみるなどの相対的評価には十分有効です。また自社に関するSNSコメントを読む生産性向上はあります。
※4 定性的な知見はそれがたとえ示唆的であったとしてもそのままビジネス・アクションに移さずに、定量調査で正しくサンプルを取った上でそこでの傾向から全体を推し量ることの方がより安全です。
無数のWeb記事を興味・関心別にジャンル分けするには？
スマートフォンのアプリで記事のレコメンドを受けることってよくありますよね？ わたしが担当した案件で、とても技術力のあるお客様がいました。スマートフォンのユーザーひとりひとりが今どんなジャンルに興味があるか正しく理解して、その興味ジャンルに近しい内容の記事をレコメンドする。シンプルに言えばこんなことをやっています。この精度が高ければアプリを気に入って使い続けてくれるでしょうし、副次的に色々なビジネス・メリットがありそうです。
問題は「興味の内容をどのように把握するのか」です。この分析ゴールを念頭に、まずは興味のジャンルにどういったものがあるのかを把握する必要があります。そのために、Web上の膨大な記事を分析対象にして、SVD（※5）というテクニックを使って機械で処理しやすい形に変換します。その上で記事のクラスタリング（記事の内容の近しさでジャンルとして捉える）を行い、興味のジャンルにはどのようなものがあるかを把握します。
あとはユーザーひとりひとりの記事アクセスと記事のジャンルを照合すれば、ユーザーが興味を持っているジャンルがわかります。何をレコメンドすればよいかは自明というわけです。このマイニング技術の特徴は、ジャンル判定の方法を人間が設定するのでなく、機械に任せている点です。
例えば最近、化学工場の相次ぐ爆発事故など、あまりにも痛ましい事件が何度も立て続けに起こっており、一つの興味のジャンルとなっています。このことは半年前に全く予想がつかなかったことです。予め人間がジャンル判定の設定などできるわけもなく、常時機械的にクラスタリング処理を実行しているからこそ浮かび上がるジャンルというわけです。
リスキーな健康被害案件を見極めるためには？
いきなり高度な活用事例が出てきてしまったため、少し身近な例も紹介しましょう。そのお客様は外部から寄せられる健康被害についての情報を収集し、それがどれだけリスキーな事案なのかを判断しています。しかし、テキスト・データが余りにも多いことに閉口した結果、人間がテキストに全部目を通すのでなく、機械に読ませて判断させるという処理をされています。
実はここでテキスト・マイニングが行なっていることは単純です。テキスト・データを機械で処理しやすい情報に変換する処理をした上で、その情報から「過去にリスキーと判断された／されなかった」を説明するデータマイニングのモデルを構築します。その上で、新しいテキストが外部から寄せられたら都度、それを上記のモデルにかけて「リスキーな状況になりそうか」を予測する、というわけです（※6）。
目指すべきは「データを見たら活用シナリオが浮かぶ」マーケター
ほかにも多くの事例がありますが、共通しているのはテキスト・マイニングをとても上手に業務に織り込んだ形でビジネス・プロセスの設計をしている点です。かねてからの私の主張でもあるのですが、テキスト・マイニングに限らずデータ分析は業務に活用できて初めて価値を産み出すことが出来るわけで、マーケターの皆様は「データを見ればすぐに活用シナリオが頭に浮かぶ」ように是非なっていただきたいと思います。
連載は今回で終了ですが、私はECzine Day 2015 Autumn にも講師として参加します。そこでリアルにお会いしましょう。ありがとうございました。
※5 Singular Value Decomposition。情報量を保持したままデータのサイズを小さくする数学的な手法。テキストの冗長なデータをその特徴を保持したまま数値情報に変換しデータサイズを極端に小さくすることで機械が扱いやすくします。
※6 詳細レベルでは他の分析処理も存在していますが、ここでは紙面の制約上単純化しています。
