楽天は2月12日、日本語に最適化した大規模言語モデル「Rakuten AI 2.0」と小規模言語モデル「Rakuten AI 2.0 mini」の提供を開始したと発表した。
「Rakuten AI 2.0」は、Mixture of Experts(MoE)アーキテクチャを採用した8x7B(8つの70億パラメータモデル)構成のモデルだ。入力トークンは最適な2つの「エキスパート」(サブモデル)へと振り分けられ、効率的な動作を実現する。楽天によれば、この設計により8倍規模の高密度モデルに匹敵する性能を示しながら、計算資源の使用を約4分の1に抑えられるという。
また、日本語性能はRakuten AI 7Bと比較して、8つのタスクで62.93から72.29へと約15%向上し、自然言語処理タスクにおいて高い精度を実現したとしている。
一方、「Rakuten AI 2.0 mini」は15億パラメータで構成される小規模モデルで、モバイル端末への導入を可能にし、データのローカル処理を実現する。これにより、プライバシー保護や低遅延が求められる特定のアプリケーションに最適なモデルとなる。
これらのモデルは、コンテンツの要約、質問への回答、一般的なテキスト理解、対話システムの構築など、様々なテキスト生成タスクでの商業利用が可能。さらに、新しいモデルを構築するためのベースとしても利用できるとしている。
CNET Japanの記事を毎朝メールでまとめ読み(無料)