AIは人間による攻撃の夢を見るか？

先進的サイバー・セキュリティ・テクノロジーのプロバイダであるF-Secure (本社: フィンランド・ヘルシンキ、CEO: Samu Konttinen、日本法人: 東京都港区、以下、エフセキュア) は、同社が参画しているSHERPA コンソーシアムがおこなったAIに関するリサーチの結果を発表しました。それによると、悪意を持った攻撃者が既にAIに対して攻撃を仕掛けていることが判明しています。

人工知能 (AI) は、自動運転、SNS、サイバーセキュリティなど、人々の暮らしのほぼすべてのシーンにおける活用が急速に進んでいます。しかし、SHERPAコンソーシアム (F-Secureが参画した、6ヶ国11団体によって構成されEUの資金サポートを受ける、倫理および人権に対するAIの影響を研究するプロジェクト) が発表した新しいレポートでは、人間である攻撃者は機械学習技術を利用できますが、機械学習を使用した新しい攻撃手法を作り出すことより、現存するAIシステムを操作して悪用することに注力している、ということが述べられています。

本リサーチのフォーカスは、悪意を持った攻撃者がAI、機械学習、スマート情報システムをどのように悪用できるか、という点にあります。研究者たちは、洗練された偽情報の作成やソーシャルエンジニアリングキャンペーンなど、今日の攻撃者の手が届く範囲にある、AIの悪質な用途を特定しています。

そしてこのリサーチでは、悪意を持った攻撃者がサイバー攻撃を仕掛けるために既にAIを使用しているという決定的な証拠は見つかりませんでしたが、攻撃者はすでにサーチエンジン、ソーシャルメディア運営企業、レコメンドサイトなどで使用される既存のAIシステムを攻撃しています。

映画、ドラマ、小説などではAIが人間に対して反乱を起こし攻撃を仕掛けてくるという設定が多く用いられていますが、現実には人間がAIシステムを定期的に攻撃している、ということなのです。エフセキュアの人工知能研究センターのシニア・リサーチャーであるAndy Patel (アンディ・パテル) は、こうした現実は多くの人にとって驚きに値するものだろうと考えています。
「これは誤りなのですが、一部の人々はAIと人間の知能を同一視しています。殺人ロボットや制御不能なコンピュータと関連付けてAIを脅威に感じるのはそのためです。しかし、実際には人間によるAIへの攻撃は多く発生しています。レコメンドシステムのように、人々が毎日使用するAIシステムを害するように設計されたシビル攻撃 (Sybil Attack) は、一般的な出来事です。こうした行為をサポートするサービスを販売している企業もあります。皮肉なことですが、実は人間がAIを恐れるべきなのではなく、AIが人間を恐れなければいけないようです。」

シビル攻撃では、AIが決定を下すために使用するデータを操作するために、単一のエンティティが複数の偽アカウントを作成し制御するようになります。サーチエンジンのランキングやレコメンドシステムを操作して、特定のコンテンツの順位を上昇／下降させることなどがシビル攻撃の例です。これらの攻撃は、標的型攻撃のシナリオの中で個人に対するソーシャルエンジニアリングの一部としても使用されます。

「こうした攻撃は、オンラインサービスプロバイダにとっては検出が非常に困難であり、この行動は人々が理解しているよりもはるかに広範に及んでいます。」と、Twitter上の不審な活動について調査を行ったPatelは述べています。

しかし、将来的には攻撃者にとって最も攻撃の価値のあるAIの用途は、フェイクコンテンツを作成することでしょう。リサーチによると、AIは非常に現実的な文章、音声、およびビジュアルコンテンツを作成できるレベルまで進化しています。 AIモデルの中には、攻撃者による悪用を防ぐために、一般に公開されていないものもあります。

「現時点では、高い説得力を持つようなフェイクコンテンツを作成する方が、そうしたフェイクコンテンツを特定するよりも簡単なのです。 また、AIは音声／動画／画像の作成において人間のサポートをしていますが、AIのそうした能力がフェイクコンテンツのさらなる洗練化につながるのです。そして、こうしたフェイクコンテンツは様々なアプリケーションで使用されるため、より大きな問題を引き起こしてしまうでしょう。」と、Patelは語っています。

本リサーチで取り上げたその他の調査結果とトピックは次のとおりです。

・ 攻撃者は、攻撃手法の普及に合わせて、AIシステムを危険にさらす方法を学び続ける。
・ 攻撃者がAIの出力を操作する方法がいくつも存在するため、このような攻撃を検出して防御することは困難。
・ 攻撃的／防御的な目的でより優れたAIを開発しようと競争は、「AI軍拡競争」を引き起こす可能性がある。
・ 攻撃からAIシステムを保護すると、倫理的な問題が発生する可能性がある (たとえば、アクティビティの監視を強化すると、ユーザのプライバシーが侵害される可能性がある、など)。
・ 高いスキルや豊富な経験を持つ攻撃者によって開発されたAIツール／モデルは増殖と普及を経て、最終的にはスキルレベルの低い攻撃者にも使用されるようになるだろう。

SHERPAプロジェクトコーディネーターであるDe Montfort University LeicesterのBernd Stahl教授は、サイバーセキュリティ業界からの唯一のパートナーとしてのSHERPAに参画しているエフセキュアの役割は、悪意のある攻撃者がAIを使用して社会全体の信頼を低下させる手法について、SHERPAプロジェクトをサポートすることだと語っています。
「SHERPAプロジェクトの目的は、AIとビッグデータ分析の倫理的および人権への影響を理解し、これらに対処する方法を開発するサポートを行うことです。AIで人権、プライバシー、または倫理について意味のある会話をすることにおいて、サイバーセキュリティは必ず考慮しなければならない項目です。 エフセキュアは、コンソーシアムにとって重要な専門分野であるセキュリティ／脆弱性において、テクノロジーおよび知識の面でプロジェクトの中心的な部分となっています。」

SHERPAプロジェクトによる本リサーチの結果は以下でご覧いただけます(英語)。
リンク
また、AIやサイバーセキュリティに関するF-Secureのブログやリサーチラボのブログはこちらをご覧ください(英語)。
リンク
リンク