優れたHadoop開発者がシリコンバレーから世界へ散るには、あと2年は必要

―LinkedInの分析技術、中でもDataFu、Voldemort、Helixなどのすばらしいツールをオープンソースとして公開している姿勢は高く評価されています。こうしたすばらしい技術をクローズドにせずオープンソースとして公開している理由を教えてください。

チャン氏: おっしゃるとおり、これらの技術は我々のビジネスにおけるユニークなニーズから生み出されたものです。ですが、このノウハウがほかの企業にも適用できるケースも多いはずです。こうしたツールを公開することで、データ分析の裾野が広がれば、そのベネフィットは再び我々のところにめぐってくるのは間違いありませんから。

―LinkedInは日本ではほとんど事例のないAster Dataのユーザ企業です。今回、テラデータはAster Dataの新製品としてSQLインタフェースからHadoopの生データにアクセスできるアプライアンスを発表しました。MapReduceプログラミングの難しさから開発者を解放し、データサイエンティストへの敷居を下げる製品として期待されますが、Aster DataのユーザとしてこうしたHadoopの敷居の高さをどう捉えていらっしゃいますか。

チャン氏: Aster Dataの立ち位置はテラデータのDWHとHadoopの間にあるギャップを埋めるものです。テラデータはリレーショナルに最適化された製品であり、SQLによる処理を得意とします。ところがHadoopは違う。RDBMS的な思考でHadoopに向かい合うとプログラマは必ず苦労します。

　たとえばライブのトランザクションフローという生データの塊をRDBMSで分析しようとすると10ページくらいは簡単にいってしまいます。でもSQLによる非構造化データへのアプローチを得意とするAster Dataであれば、非常に効率の良いクエリを投げることができます。

　おっしゃるとおり、Hadoopは習得に時間がかかるスキルです。すぐれたHadoop開発者はシリコンバレーに片寄って存在しており、彼らが世界の違う場所へと散っていくには、少なくともあと2年は必要でしょう。しかし、企業はそんなに待っていられません。Aster DataはこのHadoop技術者のスキルが向上するまでの期間を穴埋めできるソリューションだと思っています。Aster DataがあればHadoopに習熟しなくてよいというわけではありません。

データサイエンティストはアーティストたれ

―Hadoopはデータサイエンティストに欠かせないスキルというのは理解できますが、Hadoopより重要な条件を挙げるとするなら、何がデータサイエンティストに求められるのでしょう。

チャン氏: 私はデータサイエンティストはディシジョンサイエンティスト、データによる意思決定を司る能力を備えているべきだと思っています。つまり、データに対する強いオーナーシップをつねに意識していなくてはならない。

　さらに言えば、データサイエンティストにはアーティスト的な直感が必要です。科学者（サイエンティスト）としての好奇心と、データを知見に変えて提示するための表現力、それにはアーティストとしての素養をもっていなくてはなりません。複雑な方程式を書く力よりも、シンプルで理解しやすいメッセージに作り変える力です。先ほどもいいましたが、ビッグデータをスモールインサイトに変え、そしてそれを再び巨大な衝撃（huge impact)に変えるというサイクルをみずから作り出せるスキル、これがデータサイエンティストに最も求められる力です。

―日本にはデータサイエンティストと呼べる人材が非常に少ないのですが、アドバイスがあればぜひ。

チャン氏: マインドセットが変化しているという事実を受け入れてください。私は日本市場を非常に高く評価しています。プログラマの技術力も高く、すばらしいゲームもたくさん開発されてきました。プログラミングスキルも統計の知識もデータサイエンティストには重要です。日本のプログラマはその部分はすでに備えています。足りないとしたら分析というプロセスをビジュアル化して表現する力です。膨大なデータの海から、回答（answer）ではなく、問いかけ（question）をみずから探し出せる、それが単なるデータアナリストとデータサイエンティストの違いです。