rinnaは7月31日、日本語と英語のバイリンガル大規模言語モデル(汎用言語モデル「rinna/bilingual-gpt-neox-4b」)を開発し、商用利用可能なライセンスでオープンソースとして公開したと発表した。
同社は2021年4月から、誰もが気軽にAIを使える世界を目指す「AIの民主化」という考え方に共感し、研究成果を積極的に発表・公開している。
これまでに日本語に特化したGPT・BERT・HuBERT・CLIP・Stable Diffusionなど、テキスト・音声・画像に関する事前学習済み基盤モデルを公開することで、日本語LFMの選択肢を提供してきた。
2023年5月には、ChatGPTの学習にも用いられている人間の評価を利用した強化学習(Reinforcement Learning from Human Feedback:RLHF)に成功。日本語に特化した、36億パラメータを持つRLHF GPTも公開している。
同社によると、これまでにHugging Faceで公開してきた「rinna」のモデルダウンロード数は累計360万を超え、多くの研究・開発者が利用しているという。
今回開発した汎用言語モデル(rinna/bilingual-gpt-neox-4b)は、約40億パラメータを持つ日本語と英語のバイリンガルGPT。学習データには、オープンデータセットを用いており、透明性が高いモデルになるという。また、学習データの割合は英語56%、日本語33%、ソースコード11%となっている。
さらに、汎用言語モデルをベースとして、入力テキストの上限を拡大するように追加学習した「長期コンテキスト言語モデル」(rinna/bilingual-gpt-neox-4b-8k)、対話形式でユーザーの指示を遂行するように追加学習(Supervised Fine-Tuning:SFT)した「対話言語モデル」(rinna/bilingual-gpt-neox-4b-instruction-sft)、テキストと画像のマルチモーダル入力を可能とするように追加学習した「画像対話モデル」(rinna/bilingual-gpt-neox-4b-minigpt4)の開発にも成功。
これら事前学習モデルについても、商用利用可能なライセンスでオープンソースとして公開。オープンソースモデルであるため、ダウンロードすればローカル環境で実行することが可能だという。
CNET Japanの記事を毎朝メールでまとめ読み(無料)
「程よく明るい」照明がオフィスにもたらす
業務生産性の向上への意外な効果
ものづくりの革新と社会課題の解決
ニコンが描く「人と機械が共創する社会」
ZDNET×マイクロソフトが贈る特別企画
今、必要な戦略的セキュリティとガバナンス