「ChatGPT」製のテキストを見分ける特徴が明らかに--皮肉を言わず、人より礼儀正しい

　わずかな時間でそつのない論文を作成できる「ChatGPT」が登場したことで、教育の未来に対する懸念が生じている。ChatGPTを使用すれば、かつてないほど容易に不正を働くことができる。このAIチャットボットのさまざまな問題を受けて、AIで生成されたテキストを検出するツールの需要が生まれている。しかし、新しい調査によると、ChatGPTによって作成されたテキストと人間が作成したテキストを区別するのに役立ついくつかの重要な特徴があるという。

提供：Getty Images/picture alliance

　この調査で、研究者らは、ChatGPTの応答を調べて、人間が生成したテキストとの区別に役立つかもしれないパターンと特徴を探すMLモデルを構築した。同調査によると、研究者らは、レストランについてChatGPTが生成したレビューと、人間によって書かれたレビューをChatGPTが書き直したものを比較したという。

　その結果、ChatGPTは感情を共有するのではなく、体験を説明することが分かった。人称代名詞を避け、いくつかの非一般的な言葉を使用する。また、興味深いことに、攻撃的な言葉や下品な言葉を使用することは決してない。例えば、「inattentive」（不注意な）というあまり使われない言葉を使用したり、「絶対的においしい」「過度に礼儀正しい」といった誇張表現を用いたりしている。

　この調査結果は、ChatGPTの文体が極めて丁寧であることを示している。また、人間と違って、比喩や皮肉、当てこすりを含む応答を生成することはできない。要するに、人工知能と人間の知能を真に区別する要素は人間の無礼さであるということなのだろうか。

　「ChatGPTは極端に礼儀正しく、人間をかなりうまく模倣してさまざまな分野のさまざまな種類の要求に応えることを目指しているが、人間のように深みのある言葉（皮肉、比喩など）を扱うことはまだできない」（同調査のレポート）

　ChatGPTで生成されたテキストのそのほかの特徴的な指標には、細部の欠如が挙げられる。例えば、レストランのレビューでは、レストランで食事をした人間なら必ず言及するであろうレストランの詳細を説明する代わりに、レストランについて自らが知っている一般的な情報を提示した。この調査では、ChatGPTがテキスト内で「レストラン」という単語を繰り返し使用することも確認された。

　人間が書いたテキストとChatGPTで生成されたテキストを区別しようと試みている人は、そういった特徴に注意するといいかもしれない。AIによって生成されたテキストを検出するツールも存在するが、どれも、必要とされる精度にはほど遠い。

　ChatGPTの開発元で研究組織のOpenAIは米国時間2月1日、ChatGPTによって生成されたテキストを検出する無料ツールを公開した。しかし、このツールの信頼度は低い。OpenAIの「分類」ツールは、AIによって生成されたテキストの26％しか正確に検出できず（「AIで書かれた可能性が高い」と判定される）、9％の確率で誤検出となっている。

　米ZDNETは、「GPT-2 Output Detector」「Writer AI Content Detector」「Content at Scale AI Content Detection」など、ほかのAI生成テキスト検出ツールもテストしてみたが、これらのツールも信頼性が低かった。

　何とかしてChatGPTを利用したいと考えている学生は、最初に自分で書く原文の完成度を高めるか、生成された文章に少し下品な表現を加えてみるといいかもしれない（念のために言っておくが、米ZDNETは不正行為の手助けをしようとしているわけではない）。