AWS、新型チップ「Trainium2」「Graviton4」を発表--NVIDIAとの提携も拡大

　Amazon Web Services（AWS）は米国時間11月28日、ラスベガスで開催中の年次開発者会議「AWS re:Invent」で、ニューラルネットワークの学習専用チップの新バージョン「Trainium2」を発表した。Trainium2は大規模言語モデル（LLM）と基盤モデルの学習に特化して設計されている。

　AWSはまた、クラウド向けプロセッサーの新バージョン「Graviton4」を発表したほか、NVIDIAとの提携を拡大し、AWSのクラウドコンピューティングサービスでNVIDIAの最先端のチップを稼働させることを明らかにした。

Graviton4（左）とTrainium2
提供：Amazon AWS

　Trainium2は、数兆個ものパラメーター（重み係数）を持つニューラルネットワークを処理するように設計されている。これらのパラメーターが、いわばプログラムのアルゴリズムの役割を担い、スケールとパワーをもたらす。AI業界全体として重点的に取り組んでいるのが、パラメーターをさらに大規模に拡張することだ。

　パラメーター数を兆単位にすることが重視されるのは、人間の脳のニューロン（神経細胞）が100兆個以上のシナプスで結合されていると考えられていることも一因だろう。そのため、1兆個のパラメーターを持つニューラルネットワークプログラムとなれば、実際にそうであるかどうかは別として、人間の脳と関連があるように見える。

　AWSによると、Trainium2は現行モデルより「学習性能を最大4倍高速化し、メモリー容量を最大3倍増やすよう設計されている」一方で、「エネルギー効率（ワットあたりのパフォーマンス）は最大2倍向上した」という。

　AWSはTrainium2を、クラウドコンピューティングサービス「Amazon Elastic Compute Cloud（Amazon EC2）」の「Trn2」インスタンスで利用できるようにする。このインスタンスでは、Trainium2チップ16基が連携して動作する。「EC2 UltraClusters」では10万チップまで拡張できるという。これらは同社のネットワーキングシステム「Elastic Fabric Adapter（EFA）」を利用して相互接続され、合計65エクサFLOPSの処理能力を提供できる（1エクサFLOPSは、浮動小数点演算を毎秒100京回行える性能を表す）。

　AWSによると、この規模の処理であれば、「顧客はパラメーターが3000億個のLLMを、数カ月ではなく数週間でトレーニングできる」という。

　顧客向けのサービスに加えて、AmazonにはAIチップの限界に挑み続ける動機が他にもある。同社は9月、OpenAIの元幹部らが設立した株式非公開の新興企業で、生成AIを手がけるAnthropicに最大40億ドル（約5900億円）を出資すると発表した。この出資により、同社はMicrosoftとOpenAIの独占的な提携関係に対抗できる立場になる。

　Armが持つマイクロプロセッサーの知的財産を基盤に開発されたGraviton4チップは、従来のx86チップ規格をベースにしたIntelやAdvanced Micro Devices（AMD）のプロセッサーと競合する。AWSはGraviton4について、「Graviton3」と比べて「演算性能が30％向上した」としている。

　Amazonの発表の2週間ほど前、Microsoftは同社初のAI向けチップ「Microsoft Azure Maia 100 AI Accelerator」を発表した。Amazon、Microsoftと並ぶクラウド大手であるAlphabet傘下のGoogleは、2016年に初のAI向けクラウドチップ「Tensor Processing Unit（TPU）」を両社に先駆けて発表し、その後もTPUを複数世代にわたり進化させている。

　新チップ2製品に加え、AmazonはAIチップ大手NVIDIAとの戦略的提携を拡大したと発表した。AWSは、ArmベースのCPU「Grace」とGPU「Hopper」を組み合わせたNVIDIAのマルチチップ製品「GH200 Grace Hopper」を搭載する最初のクラウドサービスになる見込みだ。

　8月に発表され2024年出荷開始予定のGH200チップは、2023年入って発表されたGrace Hopperの次期バージョンだ。