F/Sから本格運用へ
本プロジェクトのF/Sは大成功を収めたのですが、コストはミニマムにすべしという制約の中、事業側は配信のたびに配信対象原稿の手動抽出を実施、一方データサイエンスチーム側はファイルコピーやSPSS Modelerの起動をエラーハンドリングなしの簡易処理で制御していたため、そのまま運用を続けることは負荷の観点から不可能でした。
また、昨年の本プロジェクト実施時点では、(事業の持つインフラ環境が現在と異なる状況でもあったので)演算処理の複雑性からシステム開発コストが見合わない、という判断がされ、当該事業においてのアルゴリズム開発は一旦役割を終えました。
ただ、情報サイトでのレコメンド(人気アイテムによらない、全体最適を実現するレコメンド)の可能性を十分に見いだすことができ、この時実装したアルゴリズムの骨子や得られた知見は、その後、別事業でも展開され、さらなる進化の道を歩んでいます。
「できる」は実現可能な状態を作り出せて初めて言える言葉
10月のリクルートグループの再編と時を同じくして、データサイエンスチームはHadoopを推進するエンジニア組織と合併してビッグデータグループになりました。昨年は諦めざるを得なかったシステム開発がぐっと身近になり、データサイエンスチームの開発したアルゴリズムがHadoop上で実装される状態を実現しつつあります。
技術的に実現可能なことを「できる」と表現する人がいますが、私は「できる」という言葉の意味を「実際に実現できている状態を作り出せること(かつそのための推進力も持ち合わせていること)」と考えます。
一人で実現できることは少ないかもしれませんが、ビッグデータグループの多様な専門性を活かして、今後もレコメンドの進化を加速させていきたいと考えています。
