Stability AI、70億パラメータの日本語言語モデル「Japanese StableLM Alpha」を公開

　Stability AI Japanは8月10日、70億パラメータの日本語向け汎用言語モデル「Japanese StableLM Base Alpha 7B」および、指示応答言語モデル「Japanese StableLM Instruct Alpha 7B」の一般公開を開始したと発表した。

　同モデルは、ベンチマークスイート「lm-evaluation-harness」による複数の日本語タスクを用いた性能評価において、一般公開されている日本語向けモデルで最高の性能を発揮しているという。

　汎用言語モデル「Japanese StableLM Base Alpha 7B」は、Webを中心とした大規模なデータを用いて、テキスト生成を学習したモデル。学習データは、主に日本語と英語となっており、ソースコードが約2％含まれているという。

　学習データには、オープンデータセットに加え、同社が作成した独自のデータセットや、EleutherAI Polyglot projectの日本語チームおよび、Stable Community Japanのメンバーの協力のもとで作成したデータが含まれている。

　学習には、EleutherAIのGPT-NeoXを発展させたソフトウェアを利用。学習は、のべ7500億トークンで行われたという。

　また、指示応答言語モデル「Japanese StableLM Instruct Alpha 7B」は、汎用言語モデル「Japanese StableLM Base Alpha 7B」に対し追加学習を行い、ユーザーの指示に受け答えできるようにしたモデルとなる。

　追加学習には、Supervised Fine-tuning（SFT）を採用。複数のオープンデータセットを利用したという。なお、SFTにより、lm-evaluation-harnessによる性能評価のスコアも大きく向上したとしている。

　各モデルは、Hugging Face Hubにおいて、Hugging Face Transformersに準拠する形式で公開されている。なお、汎用言語モデル「Japanese StableLM Base Alpha 7B」は、商用利用可能なApache License 2.0での公開。指示応答言語モデル「Japanese StableLM Instruct Alpha 7B」は研究目的で作成されたモデルであり、研究目的での利用に限定した公開となっている。

　同社によると、「Japanese StableLM Alpha」シリーズは、同社最初の生成基盤モデルになるという。今後も、日本向けの生成基盤モデルを構築し、公開していくとしている。

「日本語言語モデル『Japanese StableLM Alpha』をリリースしました」