OpenAI、人間より賢いAIの反乱を防ぐための研究チームを立ち上げ

　人間よりも賢い、極めて高い知性を有する人工知能（AI）が登場し、反旗を翻した場合、何が起こるのだろうか。OpenAIは、そのような状況を発生させないようにするために新たなチームを発足させた。

提供：Getty Images/wildpixel

　同社は米国時間7月5日の発表の中で、「われわれよりもはるかに賢いAIを制御し、統制下に置いておく」ためのチームを立ち上げると述べた。

　同社は、向こう10年以内に登場する可能性のある極めて高い知性が、これまでに生み出されたテクノロジーの中で最大の影響を与えるものとなり、世界で最も重要な問題を解決するのに役立つだろうと述べた。一方、「最も危険なものとなる可能性もあり、人間の無力化、さらには人類の絶滅さえもたらす可能性もある」という恐ろしい警告を記している。

　同社によると、現状では人類の方がAIよりも賢いため、AIの動作を統制し続けることが可能だという。しかしAIの知性が人類のそれを追い越した場合には、何が起こるのだろうか。

　ここで、同社のチーフサイエンティストであるIlya Sutskever氏と、AIアライメント（AIの安全性を確保するための統制技術）の責任者を務めているJan Leike氏が率いるチームの出番がやってくる。同チームは両氏の下に、OpenAIにおけるトップレベルの研究者やエンジニアを擁し、現在保有しているコンピュート能力の20％を活用していく。

　最終的な目標は「人間とほぼ同じレベルを有する、自動化されたアライメントリサーチャー」、すなわち規定の目標を達成し、設定したパラメーターを逸脱しないAIシステムを生み出すことだ。同チームは3つの段階を通じてこれを達成する計画だ。

• AIが人間の介入なしに他のAIを分析するための方法についての理解を深める。
• AIを用いて問題領域やエクスプロイトを探求する。
• AIに対して意図的に誤った訓練を実施し、検出されることを確認する。

　要するに、OpenAIにおける人間のチームは、極めて賢いAIを統制下に置き続けられるよう、AIを用いてAIを訓練しようというわけだ。同チームは、その作業を4年間で成し遂げようとしている。