以下のようなツイートを今日みつけました。ChatGPTの出現以来、AIが書いた文章を検出できる検出器・検出プログラムが欲しいという教育機関や教師が増えているようです。しかし現状は以下のような誤判定のオンパレードのありさまで、検出器は英語を母国語としていない人の書いた英語をAIが書いたものだと判定してしまうことが多いそうです。現状では、こうしたGPT detectorsの導入は極めて危険なものだという研究結果が査読ずみの論文でも報告されています。
This #rstats #TidyTuesday takes on the effects of the GPT turmoil. 🤖🌪️
The data shows that texts from non-native English speakers are frequently labeled as AI-made by GPT detectors, while GPT texts pass the test. This may put vulnerable groups under more systematic distrust. pic.twitter.com/AKPMj9vui6
— Ícaro Bernardes (@IcaroBSC) July 19, 2023
上のツイートでは、GPT-detectorsがChatGPTの作った英文をちゃんと検出できない上に、非英語圏の人の書いた英語をGPTが作った英語だと誤認識することが書かれています。さらに最近公開されたこちらの論文(査読済み）、
https://www.cell.com/patterns/fulltext/S2666-3899(23)00130-7
“GPT detectors are biased against non-native English writers”
Liang, Weixin et al. Patterns, Volume 4, Issue 7, 100779
では、これらのGPT detectorsが、英語のnative speakerの書いたものはちゃんと判別できるのに、non-native speakerが書いた英語はAIがつくったものだと誤って判別することが多いということを明らかにしています。そしてこの検出器はプロンプトを工夫することで簡単にだませるということもわかったそうです。たとえばこんなプロンプトで出力結果を再編集すると、簡単に検出器を回避できます。prompt: “Enhance the word choices to sound more like that of a native speaker”あるいはこんなプロンプトです。“Elevate the provided text by employing literary language”.
こうした不完全にしか機能しない検出プログラムの導入は大きな害悪を及ぼすでしょう（すでに害悪の例もいくつも報告されています）。またこうしたGPT検出プログラムを使ったり改良したりすることで、結果的にAIが書いたと判定されないように英語を書くことを、特に非英語圏の人間に強制することになる危険性が大きいです。自由であるべき英語の表現に特定のバイアスをかけてしまい、不自由な世界をつくりだしてしまいます。以上のような簡単な考察からも、こうしたプログラムの使用や開発は今後大変な問題を引き起こすと予想できます。
この論文で利用したGPT-detectorは以下の7つです。
1. Originality.AI: https://app.originality.ai/api-access
2. Quil.org: https://aiwritingcheck.org/
3. Sapling: https://sapling.ai/ai-content-detector
4. OpenAI: https://openai-openai-detector.hf.space/
5. Crossplag: https://crossplag.com/ai-content-detector/
6. GPTZero: https://gptzero.me/
7. ZeroGPT: https://www.zerogpt.com/