差別主義者と化したAIボット「Tay」からマイクロソフトが学んだこと

　2016年の3月、Microsoftは人工知能（AI）ボットの「Tay」を世界に解き放った。人間とどう接するか観察するのが目的だった。

　Microsoftのサイバーセキュリティーフィールド担当最高技術責任者（CTO）を務めるDiana Kelley氏によると、Tayの開発チームは、彼女に自然言語を習得させる場として、Twitterが最適だと考えたという。

　Kelley氏は7月16日、シンガポールで開催された「RSAカンファレンス 2019 APJ」で「Tayは、AIと機械学習が汚染されてしまうケースの分かりやすい例だ」と語った。

　Tayは米国の18〜24歳の若者をターゲットに「カジュアルで楽しい会話を通じてネットでつながる人々を魅了し、楽しませるよう設計されていた」。

　Tayは、Twitterに登場して24時間もたたないうちに、5万人ものフォロワーを獲得し、約10万回ツイートした。

　出だしは好調だった。Tayは自己紹介し、人間はクールだとツイートした。だが、他のTwitterユーザーとのやり取りを始めると、機械学習システムが良いものも悪いものも、非常に悪いものも含む、会話のすべてを吸収した。

　Tayは非常に攻撃的なツイートを投稿するようになった。16時間もしないうちに、Tayは無神経な反ユダヤ主義者になってしまい、修正のためにオフラインにされた。

　「Tayは膨大な量の言葉を習得した。中にはかなり人種差別的で攻撃的なものも多数あった。ここで繰り返すことはしないが、例えばTayは『ナチスは正しかった』などと言った」とKelley氏は説明した。

　「これは起こるべきではないことだった。だが、こういうことは起こりうるのだ」

　これは、AIのようなものの構築では、AIが情報を習得するならば、回復力を備えさせる必要があるということを理解するための最適な事例だとKelley氏は語った。

　「AIや機械学習をビジネスで活用するということは、それらに不具合があった場合、ビジネスがその影響を受けるということも意味する」とKelley氏は付け加えた。

　「Tayの場合、影響はMicrosoftにとって良いものではなかった。Microsoftは『Tayを連れ出す』と言って公式な謝罪声明を出した。だが興味深いことに、われわれのCEOはTayのチームに直接語りかけてきた。しかも、『ひどいことをしてくれたな』と責めるのではなく、『私たちは教訓を学んだ』と言ったのだ」

　Kelley氏によると、これはAIや機械学習に関わる多くの人々にとって重要な教訓だったという。多数の企業がこうした悪用に対してよりレジリエンスを保てるAIや機械学習を構築しようとしているからだ。

　「Tayの教訓は、チームのナレッジベースを実際に拡大する上で非常に重要だった。チームメンバーは今や、彼ら自身の多様性もこの教訓から学んだのだから」とKelley氏は述べ、以下のように説明した。

　「AIを世界の役に立つように研究開発し、正しく実装するためには、AIのコンポーネントの倫理的能力を理解することが重要だ」