4800万件の科学文献でトレーニングしたMetaのAI、わずか2日で公開停止に - (page 2)

「ランダムなでたらめ生成ツール」

　Galacticaは、AI研究者の言う「大規模言語モデル（LLM）」の1つだ。LLMは、大量の文章を読み取って要約し、ある文で次に出現する語句を予測できる。まとまった文章が書けるのは、原理的に言うと、語句の並び方を理解するようトレーニングされているからだ。こうした言語モデルの代表例がOpenAIのGPT-3で、人間が書いたと思えるような記事をまるまる書き上げたことで知られている。

　だがGalacticaは、トレーニングに科学データセットが使われているという点で、他のLLMとは少し違っている。プロジェクトについて説明している論文によると、担当チームはGalacticaの「有毒性とバイアス」を評価し、他のLLMより良い成果を出したという。それでも、完璧とはほど遠かった。

　ワシントン大学の生物学教授で、情報の流れについて研究しているCarl Bergstrom氏は、Galacticaを「ランダムなでたらめ生成ツール」と評した。動機があって積極的にでたらめを作り出すわけではないが、単語を認識して、それをつなぎ合わせるように訓練されている関係から、信頼できそうでもっともらしい情報を生成するものの、その多くは間違っている。

　これが問題になるのは、たとえ注意書きがあったとしても、人が騙されかねないからだ。

　リリースから48時間で、Meta AIのチームはこのデモを「一時停止」した。このAIを担当するチームに、その理由について説明を求めたが、回答は得られていない。

　ただし、MetaのAI関連の広報担当者であるJon Carvill氏によると、「Galacticaは信頼できる情報源ではなく、（機械学習の）システムを使って情報を学習し整理するという研究実験」だという。またCarvill氏は、Galacticaが「短期的な性質の調査的な研究であり、製品化の計画もない」とも付け加えている。Meta AIのチーフサイエンティストを務めるYann LeCun氏は、開発したチームが「Twitter上の批判で疲弊した」ためにデモが停止されたことをほのめかした。

　それでも、先週このデモが公開され、評判ほどの実力がなかったにもかかわらず、「文献の検索、科学に関する質問、科学的なプログラムの記述などが可能」と説明されていたのは気になるところだ。

　Bergstrom氏から見ると、Galacticaの問題の根本は、事実と情報を入手できる場所であるかのように扱われている点にある。実際には、このデモは「半分まで文を入力すると、残りが自動的に入力されるという高度なゲーム」のように機能するものだった。

　そして、GalacticaのようなAIが、一般に公開されたとたんに悪用されそうなことは容易に想像がつく。例えば、学生がブラックホールに関する講義ノートを生成させて、それを大学の課題として提出することも考えられる。科学者がGalacticaを使って文献レビューを書き、科学誌に投稿することもあるかもしれない。人間を模倣するよう訓練されたGPT-3などの言語モデルにも、同じ問題がある。

　そのくらいの使い方なら比較的ましだと言えなくもない。この程度の悪用は、大きな懸念ではなく「おふざけ」で済ませられると仮定する科学者もいる。問題は、事態がこれより悪くなりうることだ。

　「Galacticaは初期段階にあるが、さらに強力なAIモデルが科学知識を整理できるようになると、深刻なリスクが生じかねない」。こう語るのは、カリフォルニア大学バークレー校でAIの安全性を研究しているDan Hendrycks氏だ。

　Galacticaより高度なモデルが登場すれば、そのデータベースから化学やウイルス学の知識を利用して、悪意のあるユーザーが化学兵器や爆弾を作るのを助長しかねない、とHendrycks氏は示唆している。同氏は、こうした悪用を防ぐフィルター機能を追加するようMeta AIに求め、研究者に対しては、AIを公開する前にこの種の危険性について精査するよう提案した。

　Hendrycks氏はさらにこう付け加える。「MetaのAI部門には安全性を扱うチームがない。その点が、競合のDeepMindやAnthropic、OpenAIと違うところだ」

　そもそも、Galacticaの現在のバージョンがなぜ公開されたのか、その理由も判明していない。Metaの最高経営責任者（CEO）のMark Zuckerberg氏がたびたび口にする「Move fast and break things（素早く行動し破壊せよ）」というモットーに従った結果のように思える。だが、ことAIに関しては、素早く行動し破壊するというのは危険で、現実世界に影響を及ぼす可能性もあるし、無責任でさえある。Galacticaは、物事が間違った方向に進みかねないという、格好の事例になっているのだ。