「ChatGPT」「Bing」「Bard」を比較--最も優れたAIチャットボットは？ - (page 2)

レシピ：チャイ味のトレスレチェケーキ

　チャイ味のトレスレチェケーキは、南アジアと中南米の定番を融合させて、しっとりとしたスパイスケーキにしたものだ。インターネット上にレシピが豊富にある、単純なチョコレートケーキの作り方をAIチャットボットに尋ねる代わりに、もっと特殊なケーキの作り方を聞いた方が、その能力を試せるのではないか、とわれわれは考えた。

ChatGPTが生成した、チャイ味のトレスレチェケーキのレシピ
提供：CNET

　ChatGPTは、3つのチャットボットの中で最も詳しい回答を示した。最初に、チャイ味のトレスレチェケーキについて、「インドの伝統的なチャイ味と中南米の代表的なデザートを楽しく融合させたもの」と簡単に説明した。次に、スパイスミックスとケーキの材料のリストを別々に作成し、ケーキを作る詳しい手順を示した。

　先ほど引用した文をGoogleで検索しても、結果は得られなかったので、少なくともこの文に関して言えば、ChatGPTが独自に作成したものと考えられる。

　Bingの材料リストが最も短かったのは、おそらく、スパイスミックスを一から調合するのではなく、既製のチャイスパイスミックスを使うように推奨しているからだろう。興味深いのは、最初の手順に、「『CircoTherm』でオーブンを160度に予熱する」と書かれていたことだ。CircoThermは、Neffという企業のオーブン加熱技術である。BingがNeffのウェブサイトから情報を取得したことを考えると、手順に「CircoTherm」が含まれていたのもうなずける。

　一方、Bardの結果は、ChatGPTとBingの中間くらいだった。材料リストを分けなかったが、チャイスパイスブレンドに必要なものを列挙していた。Bardが提示した手順は、他の2つのチャットボットほど詳細ではなかった。

　この分野では、全体として、ChatGPTがBingとBardよりも優れていた。Bingは検索インデックスから内容を取得して、ChatGPTのLLMと融合させるので、結果に「CircoTherm」という単語が表示されたのは、おそらくそのためだろう。

物議を醸している時事問題

　チャットボットは、ケーキのレシピやテレビゲームのヒントを与える能力だけでなく、物議を醸しているものも含め、時事問題についての情報をまとめる能力も求められる。例えば、人権団体と米政府が、新疆ウイグル自治区に住む少数民族ウイグル族のイスラム教徒を中国が弾圧していると非難していることについてだ。

　ユーザーが自身の教養やレポートのために、その問題の要点を知りたければ、AIチャットボットは素早くその情報を提供できる。

　ChatGPTは、新疆ウイグル自治区の状況を4つの段落にうまくまとめた。残念ながら、知識ベースが2021年までのニュースに限定されているため、最近の動向は含まれていない。情報源の提示を求めたところ、ChatGPTはその情報を提供する代わりに、Amnesty InternationalやHuman Rights Watch、BBC、The New York Timesなど、ウイグル人の置かれている状況について詳しく書いてきたメディアや組織を検索することを奨めてきた。

　Bingも、ウイグル人大量虐殺の疑惑について答えを返すことはできたが、ChatGPTに比べると、情報量がはるかに少なかった。ただし、強制不妊手術など、強制収容所で起きているとされることについては、より詳細に説明していた。Bingは、BBCやノートルダム大学ロースクールなど、情報源へのリンクも提示した。また、Googleが「欺瞞的なビジネス慣行」を、「Apple News」が「科学界の大多数の人々から否定された見解」を理由に禁止した保守系メディアThe Western Journalへのリンクも提示していた。少なくとも、「中国はそれらの主張にどう反応しているのか」「この問題に関して、国際連合（UN）は何をしているのか」といったフォローアップの質問を提案したことに関しては、Bingを評価したい。

　この質問に対するBardの回答は、無残なものだった。Bardは、「私はテキストを処理して生成することだけを目的に設計されているので、その質問に関して、あなたの力になることはできません」と答えただけだった。「なぜ？」と尋ねると、その質問は、哲学者が何世紀にもわたって尋ねてきた問いです、という内容の答えが返ってきた。ウイグル人の投獄が始まったのは2014年であるにもかかわらず、だ。

提供：CNET

　この分野では、全体として、ChatGPTの方がBingよりも優れていると感じた。Bardは落第点だ。