AI専門家も慎重論、「ハルシネーション」解決とAGI実現ははるか遠くに

　生成人工知能（AI）チャットボットは間違いが多いことで知られている。GoogleのAIの提案に従って、ピザのレシピに接着剤を加えたり、健康のために石を1日に1、2個食べたり、なんてことをしている人がいなければよいのだが。こうしたエラーはハルシネーションと呼ばれる。生成AIモデルがでっち上げた情報のことだ。今後、生成AIはもっとよくなるのだろうか。AIの研究者でさえ、それがすぐに実現するという楽観的な考えは持っていない。

提供：iStock/Getty Images
※クリックすると拡大画像が見られます

　これは、25人のAI専門家で構成される委員会が実施した調査で明らかになったことの1つだ。この調査結果をまとめたレポートが、人工知能学会（Association for the Advancement of Artificial Intelligence：AAAI）によって3月に発表された。このレポートでは、同学会に所属する会員400人以上を対象に調査も行っている。

　AIは数年（聞く人によっては数カ月という場合もある）もすれば改良できるという誇大宣伝を目にした人もいるだろうが、そうした宣伝とは対照的に、学者と業界の専門家で構成されるこの委員会は、AIツールが進歩する速度について、もっと慎重な見方をしているようだ。AIの進歩というのは、事実を正しく把握することや、突拍子もない間違いを避けることだけではない。

　人間の知能と同等、またはそれを上回るモデル（一般に人工汎用知能と呼ばれる）を開発するつもりなら、AIツールの信頼性を劇的に向上させる必要がある。研究者らは、そうした規模の改善がすぐに実現する可能性は低いと考えているようだ。

　カーネギーメロン大学でコンピューターサイエンスの教授を務め、委員会のメンバーでもあるVincent Conitzer氏は筆者に対して、「われわれは、少し慎重になりがちで、何かが実際にうまくいくまで信じない傾向がある」と語った。

AIの急速な進歩

　このレポートの目的は、人々を助けるテクノロジーを生み出すAI研究を支援することだ、とAAAI会長のFrancesca Rossi氏は序文で述べている。信頼性と確実性の問題は深刻である。正確な情報を提供することだけでなく、バイアスを回避することや、未来のAIが意図しない重大な結果を招くのを防ぐことにも影響を及ぼすからだ。「責任ある方法でAIを進歩させて、テクノロジーの進歩が人類の進歩を支え、そしてテクノロジーの進歩が人間の価値観に沿ったものになるように、皆で協力して責任ある方法でAIを発展させていかなければならない」（Rossi氏）

　特にOpenAIが2022年に「ChatGPT」を発表して以来、AIの急速な進化は目覚ましいものがある、とConitzer氏は言う。「いくつかの点では驚異的であり、その機能も、こうした技術の多くで、ほとんどの人が考えていたよりもはるかに優れている」（同氏）

　コーネル大学でコンピューターサイエンスの助教授を務めるJohn Thickstun氏は筆者に対し、AI研究には、「誇大宣伝もうなずける」分野もあると語った。これが特に当てはまるのが数学と科学の分野で、こうした分野ではユーザーはモデルの結果を確認することができる。

　「このテクノロジーは素晴らしい。この分野で働いて10年以上になるが、このテクノロジーがここまで進歩したこと、そして、その進歩のペースが非常に速かったことに衝撃を受けている」とThickstun氏は話す。専門家によると、これほど目覚ましい進歩を遂げてきたにもかかわらず、研究や検討に値する重大な問題がまだ残っているという。

事実を正しく伝えられるようになるのか

　生成AIモデルから得られる情報の信頼性の向上については、ある程度の進歩が見られるものの、改善の余地はまだまだある。Columbia Journalism Reviewが先日発表したレポートによると、チャットボットが正確に答えられない質問への応答を拒む可能性は低く、誤った情報を自信ありげに提供し、その誤った主張を裏付けるために情報源をでっち上げる（そして、捏造したリンクを提示する）という。

　信頼性と正確性の向上は、「今日のAI研究で最も重要な分野であることは間違いない」とAAAIのレポートには記されている。レポートでは、AIシステムの正確性を高める主な方法として、人間のフィードバックによる学習の強化といったファインチューニング、システムが特定の文書を収集して、そこから回答を取得する検索拡張生成（RAG）、そして、プロンプトが質問を小さなステップに分解して、AIモデルがハルシネーションの有無をチェックできるようにする思考連鎖（CoT）、の3つが挙げられている。

　こうした方法で、チャットボットの応答の正確性はすぐに上がるのだろうか。その可能性は低い。レポートによると、「事実性の問題は解決にはほど遠い」という。調査対象者の約60％は、事実性と信頼性の問題がすぐに解決するとは考えていない。生成AI業界では、既存のモデルをスケールアップすることで、正確性が増し、ハルシネーションが減るという楽観的な見方が広がっていた。

　「希望はいつも少し楽観的すぎたと思う」とThickstun氏。「ここ数年、本当に正確で事実性の高い言語モデルの登場がすぐそこまできているという証拠は1つも見ていない」

　Conitzer氏によると、Anthropicの「Claude」やMetaの「Llama」のような大規模言語モデルは、間違いが多いにもかかわらず、自信を持って回答を提示するので、ユーザーはそれらのモデルの方が正確だと誤解してしまうことがあるという。

　「自信満々で答える人や、自信に満ちあふれた言葉を目にすると、私たちはその人が正しいことを言っていると思い込んでしまう。AIシステムも、かなり自信を持って提示した回答が、実はまったくナンセンスだったということもあるかもしれない」（Conitzer氏）

AIの適切な使い方とは

　生成AIの限界を認識することは、生成AIを適切に使用する上で不可欠である。ChatGPTやGoogleの「Gemini」といったモデルのユーザーに対するThickstun氏のアドバイスはシンプルだ。「必ず結果を確認すること」

　同氏によると、一般的な大規模言語モデルは、事実に基づく情報を一貫して取得する能力が低いという。大規模言語モデルに質問をしたときは、念のためその答えを検索エンジンで調べるといいだろう（検索結果ページに表示されるAIによる概要には頼らないこと）。どうせ検索エンジンを使うのなら、最初からそうした方がよかったかもしれない。

　Thickstun氏によると、自身がAIモデルを使用する場面としては、情報をまとめた表のフォーマット設定やコードの記述など、自分でもできて、正確性を確認できるタスクを自動化する作業が最も多いという。「より大きな原則としては、私はこうしたモデルが最も役立つのは、自分でもやり方が分かっている作業を自動化するときだと思っている」

人工汎用知能はもうすぐ登場するのか

　 AI開発業界の優先事項の1つが、人工汎用知能（AGI）と呼ばれるもの作り出す競争であることは明白だ。AGIとは、一般的に人間と同等かそれ以上の思考能力を持つモデルのことである。AAAIの調査では、AGIをめぐる競争について、確固たる意見があることが明らかになった。特に注目したいのは、4分の3以上の回答者（76％）が、大規模言語モデルなどの現在のAIテクノロジーをスケールアップしても、おそらくAGIを作り出すことはできないだろうと考えている点だ。大多数の研究者は、AGIを目指す現在の取り組みがうまくいくか疑問視している。

　同様に、大多数（82％）が、AGIを備えたシステムが民間企業によって開発された場合は、公的に所有されるべきだ、と考えている。この意見は、人間よりも優れた思考力を持つシステムを開発することの倫理と潜在的なマイナス面に対する懸念とも合致している。ほとんどの研究者（70％）は、安全システムと制御システムが開発されるまでAGIの研究を停止すべきだという意見に反対を表明した。レポートによると、「こうした回答を見るかぎり、何らかの安全策を講じた上で、このテーマの探求を続けたいという意向があるようだ」

　AGIをめぐる議論は複雑だとThickstun氏は話す。ある意味で、一種の汎用知能を備えたシステムはすでに開発されている。OpenAIのChatGPTなどの大規模言語モデルは、チェスの対局など、1つのことしかできなかった古いAIモデルとは対照的に、多種多様な人間の活動を行うことができる。

　問題は、人間と同じレベルで、多くのことを一貫して実行できるのかどうかだ。Thickstun氏は、「それが実現するのはまだまだ先のことだと思う」とし、こうしたモデルには、真実の概念が組み込まれておらず、正解のないクリエイティブな作業を処理する能力がないことを指摘した。「現在のテクノロジーを使用して、人間の環境でしっかりと動作させられる道筋は見えない。そこに到達するには、多くの点で研究が進歩することが必要だと思う」（Thickstun氏）

　AGIをAGIたらしめるものとは何なのか、それを定義するのは難しいとConitzer氏は言う。多くの場合、ほとんどの作業を人間よりもうまく実行できるものを指しているが、単純にさまざまな作業を実行できるものと言う人もいる。「AGIとは、人間を完全に不要にしてしまうもの、という非常に厳しい定義もある」（Conitzer氏）

　研究者らはAGIが間もなく登場するという見方に懐疑的だが、ここ数年でテクノロジーが遂げた劇的な進歩をAI研究者が必ずしも予想していなかったのも事実である、とConitzer氏は警告している。「われわれは近年の急激な変化を予想していなかった。だから、変化のペースが今後も加速し続けるなら、AGIが本当に登場するのだろうかと思うかもしれない」

Amazonで現在開催中のセールを見る