楽天は、Mixture of Experts（MoE）アーキテクチャ（※1）を採用した日本語大規模言語モデル「Rakuten AI 2.0」と、初の小規模言語モデル「Rakuten AI 2.0 mini」の提供を開始した。

これらのモデルは、基盤モデル（※2）とインストラクションチューニング済モデル（※3）の2種類が用意されており、Apache 2.0ライセンスのもと、楽天の公式「Hugging Face」リポジトリからダウンロードが可能である。

Rakuten AI 2.0の基盤モデルは、最新の研究手法であるSimPO（Simple Preference Optimization with a Reference-Free Reward）を活用してアライメントの最適化を行ったという。従来のRLHF（Reinforcement Learning from Human Feedback）やDPO（Direct Preference Optimization）と比較し、シンプルで安定性が高く、費用対効果に優れた調整が可能となっているとのことだ。

楽天は、会話形式や指示形式のデータを用いたファインチューニングを実施し、日本語版MT-Benchを用いてモデルの評価を行った。その結果、「Rakuten AI 2.0」および「Rakuten AI 2.0 mini」のインストラクションチューニング済モデルは、同程度のパラメータ数を持つ他の日本語オープンモデルと比較して、最高水準のスコアを記録したという。

これらのモデルは、コンテンツの要約、質問応答、テキスト理解、対話システムの構築など、幅広い用途で活用可能。また、新たなモデルの基盤としても利用できるとしている。

楽天が提供する主なモデルは以下の通り。

Rakuten AI 2.0：
日本語に最適化された8x7BのMoEモデル。70億パラメータのサブモデル（エキスパート）8つで構成され、高品質な日本語および英語のデータで学習。

Rakuten AI 2.0 mini：
15億パラメータの小規模モデル。多段階データフィルタリングとアノテーションプロセスを経て構築され、高品質な日本語および英語データで学習。

※1 モデルが複数のサブモデル（エキスパート）に分割されているAIモデルアーキテクチャ。推論および学習中は、最も適したエキスパートのサブセットのみがアクティブ化され、入力処理に使用されることで、より汎用的で高度な推論を行うことができる。

※2 大量のデータで事前学習され、その後特定のタスクやアプリケーションに微調整できるモデル。

※3 指示形式のデータで基盤モデルをファインチューニングしたモデル。