rinna、日英バイリンガル大規模言語モデルをオープンソースで公開へ

 rinnaは7月31日、日本語と英語のバイリンガル大規模言語モデル(汎用言語モデル「rinna/bilingual-gpt-neox-4b」)を開発し、商用利用可能なライセンスでオープンソースとして公開したと発表した。

キャプション

 同社は2021年4月から、誰もが気軽にAIを使える世界を目指す「AIの民主化」という考え方に共感し、研究成果を積極的に発表・公開している。

 これまでに日本語に特化したGPT・BERT・HuBERT・CLIP・Stable Diffusionなど、テキスト・音声・画像に関する事前学習済み基盤モデルを公開することで、日本語LFMの選択肢を提供してきた。

 2023年5月には、ChatGPTの学習にも用いられている人間の評価を利用した強化学習(Reinforcement Learning from Human Feedback:RLHF)に成功。日本語に特化した、36億パラメータを持つRLHF GPTも公開している。

キャプション

 同社によると、これまでにHugging Faceで公開してきた「rinna」のモデルダウンロード数は累計360万を超え、多くの研究・開発者が利用しているという。

 今回開発した汎用言語モデル(rinna/bilingual-gpt-neox-4b)は、約40億パラメータを持つ日本語と英語のバイリンガルGPT。学習データには、オープンデータセットを用いており、透明性が高いモデルになるという。また、学習データの割合は英語56%、日本語33%、ソースコード11%となっている。

 さらに、汎用言語モデルをベースとして、入力テキストの上限を拡大するように追加学習した「長期コンテキスト言語モデル」(rinna/bilingual-gpt-neox-4b-8k)、対話形式でユーザーの指示を遂行するように追加学習(Supervised Fine-Tuning:SFT)した「対話言語モデル」(rinna/bilingual-gpt-neox-4b-instruction-sft)、テキストと画像のマルチモーダル入力を可能とするように追加学習した「画像対話モデル」(rinna/bilingual-gpt-neox-4b-minigpt4)の開発にも成功。

キャプション

 これら事前学習モデルについても、商用利用可能なライセンスでオープンソースとして公開。オープンソースモデルであるため、ダウンロードすればローカル環境で実行することが可能だという。

CNET Japanの記事を毎朝メールでまとめ読み(無料)

-PR-企画広告

このサイトでは、利用状況の把握や広告配信などのために、Cookieなどを使用してアクセスデータを取得・利用しています。 これ以降ページを遷移した場合、Cookieなどの設定や使用に同意したことになります。
Cookieなどの設定や使用の詳細、オプトアウトについては詳細をご覧ください。
[ 閉じる ]