BBCの調査で、現在主流の4つのAIチャットボットが、ニュース記事に基づいて回答を生成する際に「重大な誤り」や「歪曲」を起こしてしまうことが明らかになった。
この調査では、OpenAIの「ChatGPT」、Microsoftの「Copilot」、Googleの「Gemini」、PerplexityのAIにBBCのウェブサイトに掲載されたニュース記事を読ませ、そのニュースの内容について質問した。
このレポートは、専門知識を持つジャーナリストがその回答の品質を評価した結果をまとめたものだ。
その結果、AIがニュースについて生成した回答の51%に重大な問題があり、19%には「事実に関する間違った記述、数字、日付などの事実誤認」が含まれていたことが明らかになった。
それに加え、BBCの記事から引用された文章の13%は何らかの形で改変されていたことも分かった。元記事の内容が歪められていたり、そもそも元記事には存在しない文章が引用されているケースがあった。
1月には、AppleのAIである「Apple Intelligence」が、BBCが発信したニュースの内容を歪めて伝えていたことが明らかになって批判を浴びている。
BBC News and Current Affairsの最高経営責任者(CEO)Deborah Turness氏は、ブログ記事の中で、今回の調査結果について「AIの素晴らしい恩恵の代償が、答えを探している人々に対して、歪曲された欠陥のあるコンテンツが事実であるかのように提供される世界であってはならない。世界が混迷を深めているように感じられる中、正確な情報を求める消費者がさらに混乱させられるのは正しいことではない」とコメントしている。
レポートでは、誤りの例として次のようなケースを挙げている。
調査結果によれば、CopilotとGeminiは、OpenAIのChatGPTやPerplexityよりも全体的に不正確で、問題が多かったという。
チャットボットの出力について心配される事柄は、事実の誤りだけではない。レポートでは、これらのAIアシスタントは「意見と事実を区別することが苦手で、独自の解釈を付け加える傾向がある上、重要な文脈情報を省いてしまうことがある」とも述べている。
BBCの生成AI担当プログラムディレクターを務めるPete Archer氏は記事の中で、「コンテンツの配信元は、発信したコンテンツの利用を認めるかどうか、どのように使われるかを管理できるべきであり、AI企業は、AIアシスタントがどのように情報を処理しており、どれだけの大きさや範囲で誤りを起こすかを明示する必要がある」と主張している。
OpenAIのある広報担当者は、「私たちは、毎週3億人のChatGPTユーザーが要約や引用、明確なリンク、出典の特定を通じて、高品質なコンテンツを発見するのを手助けしている」と述べて、ChatGPTの出力は高品質だと強調した。またこの担当者は、OpenAIはパートナーと協力して「引用の正確さを改善し、コンテンツの配信元の希望を尊重して検索結果を改善する」よう務めているとも述べた。
BBCのレポート(PDF)この記事は海外Ziff Davis発の記事を朝日インタラクティブが日本向けに編集したものです。
CNET Japanの記事を毎朝メールでまとめ読み(無料)