楽天グループは、Mixture of Experts（MoE）アーキテクチャを採用した新しい日本語大規模言語モデル（以下、LLM）「Rakuten AI 2.0」と、楽天初の小規模言語モデル（以下、SLM）「Rakuten AI 2.0 mini」の2つのAIモデルの提供を開始した。
同社は、2024年12月に発表した両モデルそれぞれについて、基盤モデルと同モデルをもとにしたインストラクションチューニング済モデルを提供する。全モデルは、Apache 2.0ライセンスで提供されており、同社公式の「Hugging Face」リポジトリからダウンロードできる。
「Rakuten AI 2.0」基盤モデルのファインチューニングでは、SimPO（Simple Preference Optimization with a Reference-Free Reward）を活用してアライメントの最適化を行ったとのこと。従来のRLHF（Reinforcement Learning from Human Feedback）やDPO（Direct Preference Optimization）と比較して、SimPOはシンプル、安定的、効率的という利点を兼ね備えている。モデルを人間の嗜好に合わせてファインチューニングするための費用対効果が高く、実用的な代替手段だという。
「Rakuten AI 2.0」と「Rakuten AI 2.0 mini」のインストラクションチューニング済モデルは、コンテンツの要約、質問への回答、一般的なテキスト理解、対話システムの構築など、様々なテキスト生成タスクでの商業利用が可能となっている。また、新しいモデルを構築するためのベースとしても利用できる。
新AIモデルの特徴
楽天グループは、AIアプリケーションを開発する企業や技術者などの専門家の支援を目的に、次のモデルを提供する。
- Rakuten AI 2.0：2024年3月に公開した日本語に最適化したLLM「Rakuten AI 7B」をもとに開発された8x7BのMoEモデル。本LLMは、8つの70億パラメータで構築した「エキスパート」と呼ばれるサブモデルで構成されている。高品質な日本語と英語の言語データを用いて、継続的に学習されている
- Rakuten AI 2.0 mini：15億パラメータのモデル。内製の多段階データフィルタリング、アノテーションプロセスを通して構築された高品質かつ広範な日本語と英語のテキストデータで、最初から学習されている
