OpenAI、AIの「壊滅的」リスクに備え専門家チームを創設--核攻撃などを想定

　人工知能（AI）は、人と技術との関わり方を革新し続けているため、人の未来に信じられないほどの影響を及ぼすことは否定できない。野放しのままであれば、AIにはかなり深刻なリスクがあることも否定できない。

提供：Yuichiro Chino/Getty Images

　ここで登場するのが、OpenAIが立ち上げた新しい専門家チームだ。

　「壊滅的な」リスクに対応する目的で結成されたOpenAIの専門家チーム「Preparedness」は、現在および将来のAIモデルが抱えるリスク要因を検証する。そうしたリスクはさまざまなカテゴリーに及び、それには聞き手に合わせた説得、全体的なサイバーセキュリティ、自律的な複製や適応、さらには化学攻撃や生物攻撃、放射性物質による攻撃、核攻撃のような絶滅レベルの脅威が含まれる。

　AIが核戦争を始めるというのはいささか起こりそうにない出来事に思えるが、トップクラスのAI研究者やエンジニア、Google DeepMindの最高経営責任者（CEO）であるDemis Hassabis氏をはじめとするCEOらのグループが、「AIによる絶滅のリスクを緩和することは、パンデミックや核戦争といった他の社会規模のリスクと並んで、世界的な優先事項であるべきだ」と不気味な警告を発したのが、5月の話だということを思い出してほしい。

　AIがどのように核戦争を引き起こせると言うのだろうか。最近は、軍事攻撃を行う時期や場所、方法の決定に必ずコンピューターが使われており、将来的にはAIが関わることになるのは間違いない。しかし、AIは「ハルシネーション」（幻覚：AIが事実と異なる情報を勝手に作り出してしまう現象）を起こしやすく、人と同じ世界観を持っているとは限らない。要するに、AIは間違ったタイミングで核攻撃すべきだと判断する可能性があるということだ。

　OpenAIの声明には、次のように書かれている。「フロンティアAIモデルは、最先端の既存モデルが現時点で持っている機能を凌駕し、人類全体の利益に寄与する潜在的な力を持つようになると考えている。しかし、もたらすリスクもますます深刻化している」

　OpenAIによると、AIを抑制するため、専門家チームは以下の3つの主要な疑問に焦点を当てるという。

• 意図的に悪用された場合、現在および将来存在するフロンティアAIシステムはどの程度危険なのか。
• フロンティアAIモデルの重みが盗まれた場合、脅威アクターに何ができるのか。
• どうすれば、フロンティアAIシステムが持つ危険な機能の監視や評価、予測、対策を実施する枠組みを構築できるのか。

　専門家チームを率いるのは、マサチューセッツ工科大学（MIT）のCenter for Deployable Machine Learning（CDML）の所長で、MITのAIポリシーフォーラム（AI Policy Forum）の教授団共同代表を務めるAleksander Madry氏だ。

　研究を拡大するため、OpenAIは、壊滅的な悪用を防止するためのコンテスト「AI Preparedness Challenge」も開始した。上位の提案最大10件に最高2万5000ドル（約370万円）相当のAPIクレジットを提供する。