DeepMindのAI、戦略ゲーム「StarCraft II」で人間プレーヤーの99.8％に勝るレベルに

　DeepMindの人工知能（AI）プラットフォームは、チェス、将棋、囲碁などの複雑なゲームをマスターし、高度な機械学習手法によって人間の頭脳を打ち負かすことができるとして伝説的存在となっている。2019年初頭に、リアルタイムストラテジーゲーム「StarCraft II」を対象に構築された、「AlphaStar」という名の同AIの新しいバージョンが発表され、StarCraft IIで世界トップレベルの複数の人間プレーヤーを蹴散らして、人間に圧勝するというDeepMindの伝説を更新した。

提供：DeepMind

　DeepMindのチームは米国時間10月30日、Nature誌にAlphaStarの新しい研究結果を発表し、AlphaStarがどれだけの偉業を成し遂げたかについて詳しく説明した。StarCraft IIのスターを目指す人たちには残念な知らせだが、AlphaStarは現在、グランドマスターに分類されている。これは、99.8％の人間プレーヤーに勝利できることを意味する。

　StarCraft IIはリアルタイム戦略ゲームで、プレイヤーは3種類あるチーム（ゲーム内の用語では「種族」）のうちの1つを操作する。種族ごとに固有の特性があり、プレイヤーは、広大なマップ全体を使って大規模な軍隊を構成する多くのユニットをコントロールしながら、ユニット作成用の資源を管理するとともに敵を攻撃したり自分のベース（拠点）を防衛したりしなければならない。トップレベルのプレイともなると、人間のプレイヤーが勝利するのに役立つ戦略と対抗戦略が無数にある。信じられないほど複雑なじゃんけんゲームのようなものだ。

　複雑で奥深いため、StarCraft IIはAIにとって重要な挑戦となる。StarCraft IIのゲームはチェスや囲碁と異なり、プレイヤーは対戦相手の行動を見ることができない。また、チェスや囲碁では一息ついて戦略を考える時間があるが、StarCraft IIは「リアルタイム」ゲームなので、ゲームが始まると勝つか負けるかしなければ時間を止められない。

　DeepMindは、AlphaStarにかなり単純な訓練を施した。まず、戦略を学んで行動を真似させるため、トッププレイヤーの再現プレイをほぼ100万回分見せた。その後、「強化学習」と呼ばれる手法で、どの戦略が最も成功するかを学ばせるために、DeepMindの他のAIと対戦させた。勝つのは良いことで、負けるのは悪いことだと示して、AIを訓練した。

　AlphaStarには、人間ではないことによる優位な点がいくつかある。例えば動きや速さの制約となる物理的な身体がない。条件を公平にするため、DeepMindのチームはAlphaStarにあえて制約を設け、計算時間を遅らせたり、1分間にとれるアクションの数を制限したりした。