rinna、日英バイリンガル大規模言語モデルをオープンソースで公開へ

　rinnaは7月31日、日本語と英語のバイリンガル大規模言語モデル（汎用言語モデル「rinna/bilingual-gpt-neox-4b」）を開発し、商用利用可能なライセンスでオープンソースとして公開したと発表した。

　同社は2021年4月から、誰もが気軽にAIを使える世界を目指す「AIの民主化」という考え方に共感し、研究成果を積極的に発表・公開している。

　これまでに日本語に特化したGPT・BERT・HuBERT・CLIP・Stable Diffusionなど、テキスト・音声・画像に関する事前学習済み基盤モデルを公開することで、日本語LFMの選択肢を提供してきた。

　2023年5月には、ChatGPTの学習にも用いられている人間の評価を利用した強化学習（Reinforcement Learning from Human Feedback：RLHF）に成功。日本語に特化した、36億パラメータを持つRLHF GPTも公開している。

　同社によると、これまでにHugging Faceで公開してきた「rinna」のモデルダウンロード数は累計360万を超え、多くの研究・開発者が利用しているという。

　今回開発した汎用言語モデル（rinna/bilingual-gpt-neox-4b）は、約40億パラメータを持つ日本語と英語のバイリンガルGPT。学習データには、オープンデータセットを用いており、透明性が高いモデルになるという。また、学習データの割合は英語56％、日本語33％、ソースコード11％となっている。

　さらに、汎用言語モデルをベースとして、入力テキストの上限を拡大するように追加学習した「長期コンテキスト言語モデル」（rinna/bilingual-gpt-neox-4b-8k）、対話形式でユーザーの指示を遂行するように追加学習（Supervised Fine-Tuning：SFT）した「対話言語モデル」（rinna/bilingual-gpt-neox-4b-instruction-sft）、テキストと画像のマルチモーダル入力を可能とするように追加学習した「画像対話モデル」（rinna/bilingual-gpt-neox-4b-minigpt4）の開発にも成功。

　これら事前学習モデルについても、商用利用可能なライセンスでオープンソースとして公開。オープンソースモデルであるため、ダウンロードすればローカル環境で実行することが可能だという。