Big Data, Big Problem. なぜ予測がバラつき、外れるのか

　ネイト・シルバーはまず、ビッグデータの現状から語り始めた。IBM社の調査によれば、世界中の約90％のデータが、ここ2年間で作られたものだという。そのテクノロジーの進化と速度を、ネイトは「感動的」と表現。しかし一方で、有益な情報が作られているかというと、全体の0.9％くらいだというのも同調査の結果だ。

　「ビッグデータのビッグプロブレム（大きな問題）。データから意味のあるものを抽出するのは非常に難しく、また、それをどう使ったらいいかを教えてくれる教科書はありません」。

　その例として、ネイトが「たいへんな接戦になる」と分析した、2016年11月のアメリカ大統領選挙について、人により予測が異なり、パーセンテージも振れ幅が大きかったことを示した。ほかにも、日本の大地震、9.11のテロ、イギリスのブレグジットなどもにも触れ、「データ分析の専門家が予測を誤っている」現状を指摘した。

　専門家であっても予測を誤る理由には、たとえばメディアの世論調査をもとに分析するとして、Fox Newsの視聴者の内訳を見ると、民主党支持者が5％、残りが共和党支持者となっているといったように、そもそものデータが偏ったものであることが少なくない。

　「こうした情報の処理は、人が行わなければなりません。私たちは、情報過多に慣れていないんです。データ分析には戦略が必要です」