イソップ童話を思い出させる「危険すぎて公開できないAIアルゴリズム」の話

　OpenAIが先ごろ発表していた「GPT-2」というテキスト処理関連のアルゴリズムについて、「危険なほどよくできている」ことを理由に公開を見送るという方針を打ち出していた。そして、この判断に対して一部の人工知能（AI）研究者・開発者の間から「おかしいのではないか」という反論の声が上がっている。その話を今回は紹介する。

　「GPT-2」発表のニュースについては下記のCNET記事をご覧いただきたい。

• マスク氏が支援するOpenAI、大規模な教師なし言語モデル「GPT-2」の情報を公開

　実はこの記事、依拠したオリジナル（英語記事）のほうは次のような見出しになっていた。直訳すると「Musk氏が支援するAI組織：われわれのテキストジェネレーターは恐ろしいほど優秀だ」となる。

• Musk-backed AI group: Our text generator is so good it's scary - CNET.com

　こうした伝え方――あからさまに扇情的な見出しやリードを付したもの――はCNET.com記事に限ったことではなく、たとえばThe VergeやTechCrunchでも下記のような記事を掲載していた。それぞれ直訳すると「OpenAIの新しい多才なAIは書き、翻訳し、中傷する」「OpenAIがあまりに優れたテキストジェネレーターを開発したため、公開は危険すぎると考えられている」となる。

• OpenAI's New Multi-talented AI writes, translates, and slanders - The Verge.com
• OpenAI built a text generator so good, it’s considered too dangerous to release - TechCrunch

　自分たちの開発したアルゴリズム（またはモデル）の優秀さを伝えようとして、こうしたアピールの仕方をすることにしたOpenAI側の姿勢にも批判の声が上がっているようだが、その点についてはのちに触れることにする。

「危険なアルゴリズム」はどの程度危険なのか

　まず、OpenAIの判断が一部で議論を巻き起こしているとの話を伝えた下記のThe Verge記事には、「GPT-2の能力は、人間の文章理解力や作文能力とはまだ大きな隔たりがある」「GPT-2自体は実はブレークスルーとはいえないもので、それでも最先端のAIを使ったテキスト生成技術ができることをうまく示したものにすぎない」とも書かれてある。

• AI researchers debate the ethics of sharing potentially harmful programs - The Verge.com

　その点を踏まえた上で、OpenAIの判断に意義を唱える人たちが問題視する主な点が3つほど挙げられている。具体的には次の3点である。

1. GPT-2のモデルとその開発に使ったデータを非公開にするると、ほかの研究者たちが同モデルの中身を精査したり、自分たちで再現したりすることができなくなる（部外者にはそれがどの程度危険なのかの見極めができない。また、部外者が研究の成果を享受し、その上でコミュニティーに貢献することもできない）
2. GPT-2のモデルはOpenAIが主張するような大きな脅威とはならない。
3. AIというと何かと脅威論に傾きがちなメディアに対してOpenAIは十分な対応をしておらず、結果的にこの種のニュースが歪んだ形で報じられてしまう。

　この指摘に続けて、それぞれの点に関する具体的な議論（反対意見）の中身が記されている。