rinna、日本語に特化した36億パラメータのGPT言語モデルを公開へ

　rinnaは5月17日、日本語に特化した36億パラメータを持つ「汎用言語モデル」と「対話言語モデル」の2種類のGPT言語モデルについて、オープンソースで公開した。

　

　同社は、「人とAIの共創世界」をビジョンに掲げ、人と人との間にAIが介在することによる豊かなコミュニケーションを通して、すべての人が自分らしい創造性を発揮できる社会の実現を目指している。

　同ビジョンの実現に向けて、「AIりんな」をはじめとしたAIキャラクターと、人のテキスト・音声・画像を介した新しいコミュニケーションの形を提供。また、誰もが気軽にAIを使える世界を目指す「AIの民主化」という考え方に共感し、研究成果を積極的に発表・公開している。

　具体的には、日本語に特化したGPT・BERT・HuBERT・CLIP・Stable Diffusionなど、テキスト・音声・画像に関する事前学習モデルを公開。「Hugging Face」でのモデルダウンロード数は累計160万を超え、多くの研究・開発者が利用しているという。

　OpenAIから2018年に提案されたGPTは、高速な学習が可能なTransformer構造と、大量のテキストを学習データとして利用できる自己教師あり学習により、テキスト生成において技術的なブレイクスルーをもたらしている。

　その後もGPTは進化を続け、OpenAIが2022年にサービスを開始したChatGPTは、一般のユーザーが広く利用するまでの技術革新となっている。

　ChatGPTは、汎用GPT-3言語モデルに対して対話形式でユーザーの指示を遂行するタスクを実現するようなfine-tuningと、生成されたテキストに対して人間の評価を再現する報酬モデルのスコアを導入した強化学習により構築されている。

　

　GPTのような大規模言語モデルを学習するためには、大量の計算資源が必要となり、誰でも気軽に学習できるわけではないため、多くの研究機関や企業が事前学習した大規模言語モデルをオープンソースで公開することで発展に貢献している。

　しかし、オープンソースの大規模言語モデルは英語に特化していることが多く、日本語言語モデルの選択肢は十分にあるわけではないという。

　同社はこれまでに、日本語に特化した13億パラメータのGPTなどを公開している。今回、より利用の幅を広げられるように、特定のドメイン特化ではない汎用GPT言語モデル（rinna/japanese-gpt-neox-3.6b）と、汎用GPT言語モデルを対話形式の指示遂行ドメインにfine-tuningした対話GPT言語モデル（rinna/japanese-gpt-neox-3.6b-instruction-sft）を「Hugging Face」に商用利用可能な「MIT License」で公開した。

　なお、汎用言語モデルは、日本語のWikipedia・C4・CC-100 のオープンソースデータを用いて学習。対話言語モデルは、HH-RLHF・SHP・FLAN の一部を日本語に翻訳したデータを用いて学習しているという。

　また、汎用言語モデルのperplexityは8.68を達成（GPTが次の単語を予測するときに単語の候補数を8.68に絞っていること）している。

　

　加えて、対話言語モデルのインターフェースは、対話形式を採用。ユーザーが利用しやすいように設計されている。

　ユーザーは、2種類のモデルから利用者の目的に応じて最適なモデルを選択可能。特定の利用目的に対して性能を最適化させたい場合には、fine-tuningやin-context learningにより精度向上を目指すことができるという。

　同社では、これらのモデル公開により、日本語言語モデルを活用した研究・開発がより発展することを期待。また、他社との協業も進めることで、AIの社会実装の拡大を目指すとしている。