CA、独自の日本語LLMのバージョン2を一般公開--3万2000トークン対応のチャットモデル

　サイバーエージェントは11月2日、70億パラメータ・3万2000トークン対応の日本語LLM（Large Language Model、大規模言語モデル）を公開した。

　同社はかねてから日本語LLMの開発に取り組んでおり、2023年5月には国内の自然言語処理技術の発展への寄与を目的とし、「CyberAgentLM」を一般公開。その後もLLMに関する研究開発を続けさまざまなモデルを開発。同社が提供している「極予測AI」をはじめとするサービスにおいて活用を進めている。

　今回公開したモデルは、日本語および英語データで事前学習を行なった70億パラメータのベースモデルである「CyberAgentLM2-7B」と、チャット形式でのチューニングを行った「CyberAgentLM2-7B-Chat」の2種類。CyberAgentLM2-7B-Chatは入出力の長さとして3万2000トークンに対応しており、日本語の文章として約5万0000文字を一度に処理することができるという。モデルは商用利用可能なApache License 2.0として提供されている。

ニュースリリース
モデルの提供（「huggingface」サイト）