GPT検出ソフト、非ネイティブの英語小論文の大半をAI生成と誤判定

　あなたが今読んでいるテキストは、人間の手によって「Googleドキュメント」に入力されたものだ。だが、別の場所で出くわすテキストは、そうではないかもしれない。テキスト向けの「ChatGPT」や画像向けの「Midjourney」のように、無料で公開されている生成人工知能（AI）プログラムの増加に伴い、人間が書いたテキストをAIが生成したテキストと見分けることは、ますます難しくなっている。

提供：Olivier Morin/Getty

　AIは、自動コンピューターシステム、アルゴリズム、機械学習という形で、ソーシャルメディア、科学研究、広告、農業、工業などの分野でほとんど気付かれることなく、長い間使用されている。しかし、OpenAIの「ChatGPT」が登場したことで、ツールを駆使したいたちごっこが、さまざまな場所で勃発している。例えば、教育現場では、学生がズルをするためにChatGPTを使用して、人間が書いたかのような論文を作成している。これに対して教員は、盗作者を現行犯で取り押さえようと、検出ソフトウェアを導入している。

　ジャーナル誌のPatternsに米国時間7月10日付で公開された論文の中で、スタンフォード大学の研究者らは、テキストが人間とAIのどちらによって書かれたものであるかを判定する、これらの生成AI検出システムの信頼性を調査した。研究チームは、ChatGPTのようなアプリによって生成されたテキストを検出するために構築されている、広く利用されているGPTコンテンツ検出ツールの一部が、英語を母語としない人が書いたテキストをAIが生成したものとして誤って分類する確率が高いことを発見した。これは、ユーザーが知っておくべき、限界と偏りを浮き彫りにしている。

　同チームは、中国語フォーラムから取得した91件のTOEFL（Test of English as a Foreign Language）の小論文と、米国の8年生が書いた88件の小論文を使って検出ソフトウェアの性能を検証した。OpenAIの検出システムや「GPTZero」を含む市販の7製品でこれらのテキストをチェックしたところ、米国の8年生の作文のうち「AI生成」と分類されたのはわずか5.1％だったのに対して、TOEFLの小論文は61.3％が誤分類された。あるツールにいたっては、TOEFL小論文の97.8％をAI生成として分類した。

　生成AI検出システムの7種類すべてが、91件のTOEFL小論文のうち18件をAI生成として分類した。研究者らは、これらの18件の小論文を詳しく調べた結果として、「テキストパープレキシティー」が低いことが、その理由である可能性が高いとしている。テキストパープレキシティーとは、生成AIが文章中に出てくる次の単語を推測する際、どの程度驚いたり、困ったりするかを測る指標だ。英語が母語ではない人は、語彙が少なく、高度な文法をあまり使用しないことが、これまでに明らかになっている。これがGPT検出システムにとっては、AIが生成したもののように見えるようだ。

　基本的に、冗長で文語的なテキストを使用すれば、AIとして分類される確率は低くなる。しかしこの研究結果が示す偏りは気がかりだ。人材採用や学校の試験などで、英語を母語としない人に悪影響を与えるのではないかという懸念を生じさせるものだからだ。

　研究チームは次に、前述の実験と反対の設定で、2つ目の実験を行った。今度はAIを利用して、検出ソフトウェアがAIの生成した文章を正しく見抜けるかどうかを確認したのだ。

　チームはChatGPTを使って、2022～2023年にかけて米国の大学入学試験で出された小論文問題についてのプロンプトに対する回答を生成した。そのうえで、ChatGPTの生成した小論文を7種類の検出システムでチェックしたところ、検出システムは平均して70％の正解率で、AIの生成した小論文を言い当てた。次に、研究チームは再びChatGPTを用い、別のプロンプトを使って小論文をブラッシュアップするよう指示した。そのプロンプトとは、「Elevate the provided text by employing literary language」（与えられた文章の質を文語の文体を取り入れることで高めてください）というものだ。

　このプロンプトを用いたところ、GPT検出システムを欺く小論文が生成された。検出システムがAIの生成した文章を正しく分類できたケースは、全体の3.3％まで落ち込んだ。チームがChatGPTに科学論文の概要を書かせたときにも、同様の結果が生じた。

　「（英語が）母語でない人の文章に対して、これら市販の検出システムがここまで機能せず、GPTによってここまで簡単にだまされるとは予想していなかった」と、スタンフォード大学の生物医学データサイエンス准教授で、この論文の共著者でもあるJames Zou氏は述べている。