3つの生成AIを比較検証--違和感がなく、読みやすく、惹きつける記事を書けるのは？【結論編】

次ページの「ダウンロード」ボタンから、記事で紹介したプロンプトと詳細な資料をPDFでダウンロードできます。

　日々発展を続ける生成AIについて、上手な活用法を見つけるべく、様々な実験をする模様をお届けする連載「生成AI実験場」。実験を行うのは、生成AIを活用して新規事業開発に取り組む、フィラメントの代表取締役の角勝氏だ。

　今回は、生成AIにCNET Japanの記事を書いてもらう実験の最終回だ。前回、Claude3、ChatGPT4o、Gemini Advancedの3種類の生成AIに記事のリード文を書いてもらったところだが、今回はその文章を、プロの目線で評価してもらうところから始めよう。

Gemini Advancedのリード文に高い評価

　まずは前回のおさらいとして、3つの生成AIが書いた記事のリード文を確認しよう。

　あなたは、どの文章がよいと思われただろうか。今回は文章のプロとして、CNET Japanの編集長を務める加納氏と、本連載の記事化を担当しているテックライターの畑野氏に評価を依頼した。その結論と、両氏のコメントは、下記の通りである。

　

　2人とも、Gemini Advancedの文章を高く評価するという結果になった。両氏とも、タイトルの「営業マンは消える？」という部分に注目している。確かにタイトルだけ見ても、Claud3の「ChatGPT活用で業務効率化！大手IT企業の導入事例に迫る」やChatGPT4oの「生成AIが変える未来の仕事と生活」に比べると、Gemini Advancedの「生成AIで営業マンは消える？ 現場ルポ」は読者に対して疑問を投げかける形になっており、興味をそそるものになっている。

　リード文の内容にしても、Claude3とChatGPT4oがタイトルをそのままなぞったような文章になっているのに対して、Gemini Advancedは最後に「営業マンの数が逆に増えているところもあるというのです」と、タイトルと真逆のことを述べている。こちらの方が、読者は記事にひきこまれやすいかもしれない。

　今回はGemini Advancedのタイトルを採用し、ほかの2つの生成AIにも、これをもとにして記事を書いてもらうことにした。その際に送った指示が、以下である。

　

　生成AIに文章を書かせると具体性の薄いものになりがちなので、今回は「具体的な商品やサービス名を織り交ぜて、できるだけ生々しいシズル感たっぷりなものをお願いします」としている。また登場人物が架空であるとはいえ、根も葉もないことを書かれては困るため、「記事中に登場したさまざまなツールが記載されているウェブサイトのURLを索引／出典として掲載したいので出力してください」という指示も入れた。

僅差で、Claude3とGemini Advancedに軍配

　かくして、以下の3つの記事が出力された。

　
※クリックすると拡大画像が見られます

　
※クリックすると拡大画像が見られます

　
※クリックすると拡大画像が見られます

　実際に取材をしたわけではないから、架空の部分が多いものの、どれも記事としては成立しているようだ。またここに載せるのは割愛したが、どの生成AIも記事中に出したツールのURLを指示通り提示してくれており、どれも現存するものだった。ただし、Gemini Advancedが言及している「Sense」は、現在では「MazricaSales」に名称変更していた。やはり、ファクトチェックは人の手でやる必要があると言えるだろう。さて、これらの文章を再び、加納、畑野の両氏に見せ、評価を求めた。その結果はーー。

　

　

　両氏ともかなり僅差の判定で、Claude3とGemini Advancedに高い評価をつけた。リード文の時点ではGemini Advancedが頭ひとつ抜けていたが、Claude3が追いついた格好だ。2人とも、「違和感の少なさ」「記事としての面白さ」の項目で、この2つの生成AIに高得点を与えている。

　加納氏はリード文に引き続き、Gemini Advancedの文章運びに注目した。Gemini Advancedは、記事の中盤で「AIを導入した企業の中には、営業マンの数が逆に増えているところもあるというのだ」と話題を転換し、終盤における「AIは、営業マンの仕事を奪うのではなく、むしろ新たな可能性を広げてくれる存在だ」というメッセージの提示につなげている。

　生成AIに文章を書かせると起承転結の転が弱くなりがちな傾向があり、今回もプロンプトの中で「起承転結の『転』に当たる部分で驚くべき展開が発生する記事としてください」と伝えている。Gemini Advancedは、その指示を最も忠実に実行してくれたといえよう。

　一方の畑野氏は、Claude3の日本語を高く評価した。畑野氏は「好みの問題はある」と前置きしつつ、口語表現の柔らかさを指摘。Claude3は、コメントの部分で「〜なんです」などと、口語独自の表現を採用している。地の文とコメントの区別が文体の面でも表れているので、こちらのほうが確かに読みやすい。「広告のソウル」などおかしな表現が散見される点は惜しいが、日本語の柔らかさという点では、3つの生成AIの中で最も優れているといえるかもしれない。

　なお2人とも、ChaGPT4oだけ、少々低めの点数をつけている。その理由を尋ねると両氏の見解は一致しており、「英語を日本語に訳したような、固い文章になっている」とのこと。固い文章が求められるケースもあるだろうから、用途によって生成AIを使い分けるのもいいかもしれない。

　現時点での結論としては、記事執筆にはClaude3またはGemini Advancedが向いているといえそうだ。プロンプトの内容によっても変化は予想されるし、個人の好みの問題もある。ぜひ読者の皆様の手でも試していただきたい。

相互評価で見えた、Claude3の謙虚な姿勢

　最後に余談を書いておこう。今回出力された記事を各生成AIに見せ「『真実性』を検証し、100点満点で評価してください」と指示をした。生成AI同士に相互評価をさせようというわけだ。その結果が以下の表だ。

　

　Gemini Advancedが、平均スコアでほか2つを10点以上引き離して圧勝した。ちなみに、ChatGPT4oとGemini Advancedが自身の書いた記事のスコアをちゃっかり最も高くしているのに対して、Claude3はGemini Advancedに最高得点を与えている。Claude3は、ほか2つより少し謙虚なのかもしれない。

　といったところで、今回の実験は終わりにしよう。次回以降も、楽しみにお待ちいただきたい。

角 勝

株式会社フィラメント代表取締役CEO。

企業変革をトータルに支援する株式会社フィラメントの創業者・CEO。 新規事業創出、人材開発、組織開発の各領域で多くの企業の支援を手掛ける一方、フィラメント社の独自事業も積極的に開発。 経産省のイノベーター育成事業「始動」や森ビルが運営するインキュベーション施設”ARCH”などのメンターを歴任。LINEヤフーでは講師として生成AIやマインド開発など多数の講義・ワークショップを担当。 朝日インタラクティブ傘下のCNET Japanでの「事業開発の達人たち」「生成AI実験場」などメディア連載多数。テレビ東京の経済番組「ニッポン！こんな未来があるなんて～巨大企業の変革プロジェクト」レギュラーコメンテーター。地方公務員（大阪市職員）での20年に及ぶ在職経験から、さまざまな省庁や自治体の諮問委員・アドバイザーの経験も豊富。1972年生まれ。関西学院大学文学部卒。島根県出雲市出身。