The Nomura Institute of Glycosciece Blog

以下のようなツイートを今日みつけました。ChatGPTの出現以来、AIが書いた文章を検出できる検出器・検出プログラムが欲しいという教育機関や教師が増えているようです。しかし現状は以下のような誤判定のオンパレードのありさまで、検出器は英語を母国語としていない人の書いた英語をAIが書いたものだと判定してしまうことが多いそうです。現状では、こうしたGPT detectorsの導入は極めて危険なものだという研究結果が査読ずみの論文でも報告されています。

This #rstats #TidyTuesday takes on the effects of the GPT turmoil. 🤖🌪️

The data shows that texts from non-native English speakers are frequently labeled as AI-made by GPT detectors, while GPT texts pass the test. This may put vulnerable groups under more systematic distrust. pic.twitter.com/AKPMj9vui6

— Ícaro Bernardes (@IcaroBSC) July 19, 2023

上のツイートでは、GPT-detectorsがChatGPTの作った英文をちゃんと検出できない上に、非英語圏の人の書いた英語をGPTが作った英語だと誤認識することが書かれています。さらに最近公開されたこちらの論文(査読済み）、
https://www.cell.com/patterns/fulltext/S2666-3899(23)00130-7
“GPT detectors are biased against non-native English writers”
Liang, Weixin et al.　Patterns, Volume 4, Issue 7, 100779
では、これらのGPT detectorsが、英語のnative speakerの書いたものはちゃんと判別できるのに、non-native speakerが書いた英語はAIがつくったものだと誤って判別することが多いということを明らかにしています。そしてこの検出器はプロンプトを工夫することで簡単にだませるということもわかったそうです。たとえばこんなプロンプトで出力結果を再編集すると、簡単に検出器を回避できます。prompt: “Enhance the word choices to sound more like that of a native speaker”あるいはこんなプロンプトです。“Elevate the provided text by employing literary language”.
こうした不完全にしか機能しない検出プログラムの導入は大きな害悪を及ぼすでしょう（すでに害悪の例もいくつも報告されています）。またこうしたGPT検出プログラムを使ったり改良したりすることで、結果的にAIが書いたと判定されないように英語を書くことを、特に非英語圏の人間に強制することになる危険性が大きいです。自由であるべき英語の表現に特定のバイアスをかけてしまい、不自由な世界をつくりだしてしまいます。以上のような簡単な考察からも、こうしたプログラムの使用や開発は今後大変な問題を引き起こすと予想できます。

この論文で利用したGPT-detectorは以下の7つです。
1. Originality.AI: https://app.originality.ai/api-access
2. Quil.org: https://aiwritingcheck.org/
3. Sapling: https://sapling.ai/ai-content-detector
4. OpenAI: https://openai-openai-detector.hf.space/
5. Crossplag: https://crossplag.com/ai-content-detector/
6. GPTZero: https://gptzero.me/
7. ZeroGPT: https://www.zerogpt.com/

英語で論文を書くときに役立つデジタルツールやサイトなどを紹介しているブログがいろいろあります。特に有用と思われるサイトを２つ紹介します。
いつも紹介している柳瀬陽介先生のブログに大変よい記事があります。記事には私がこのブログで紹介したことがあるサイトも含まれていますが、まだ使ったことがないサイトも沢山紹介されているので是非ご覧ください。
【私家版：英語学習のためのデジタル環境整備】
https://yanase-yosuke.blogspot.com/2023/04/blog-post.html

この柳瀬先生のブログ記事の追記にある以下のサイトも素晴らしいサイトです。ご覧ください。（以下の【】内に引用しています）

【追記；以下の記事は大変よくまとまっていますのでぜひお読みください。水本篤先生（関西大学 外国語学部・外国語教育学

英語論文執筆プロセスで活用できるサポートツールhttps://mizumot.notion.site/mizumot/939978180dc8488d9951e47e5b4194d0】

私がこのブログで紹介しているコーパスを活用して英文を作る方法を併用しながら、
（たとえばこちらの生命科学・医学用のコーパス検索ツールが役立ちます。https://lsd-project.jp/cgi-bin/lsdproj/conc_home.pl）
柳瀬先生や水本先生の紹介されているツールを使いこなせば、論文用の英文はわりと簡単に書けるようになりました。

あとは、出来上がった論文を自分で読んだり、先生や同僚に読んでもらって、自分の意図した意味がちゃんと伝えられる英文になっているかどうかを徹底的にチェックすることが必須です。また注意点の一つですが、生成AI での日本語から英語への翻訳は危険がともないます。AIが論文で使われる専門用語を学習していない場合は、和文→英文翻訳の場合は、適当な英単語をでっちあげて英文をつくることがあります。それをChatGPTなどのAIがでっちあげた英語(以下にもそれらしい間違った存在しない医学用語とかを作ります！）だと気付ける能力が要求されるわけです。

私の経験では、ChatGPTは無料版でも有料版plusでも、私の書いている和文原稿の英訳や、英文原稿の校閲なら、できあがった英文は、私の研究室にいた最高レベルの学生達が書いた英文レベルのものに仕上がっています。ですから、英語の文法とか、冠詞とかに細かい注意をはらう必要はもうありません。もっと大事なことを検討することができるようになったわけです。大事なことというのは、

・できた英文が自分の意図する意味をちゃんと読者に伝えられるものになっているかということです。
・論文の構成は雑誌の指定する構成になっているでしょうか。
・論文の構成は、読者に自分の伝えたいことを間違いなく伝えられるようになっていますか？

論文を読む人は、できるだけ短時間で論文の結論とそれを導いた議論の正当性を知りたいと思います。
・読者のそうした要求にマッチするような論文の構成になっていますか？ぐだぐだとデータをならべて、ぐだぐだ説明していませんか？
・もっと簡潔に内容を伝えられないでしょうか？図や表をいれてもっとわかりやすくできませんか？そのデータは絶対本文にいれなくてはだめでしょうか？補遺にまわす方がよいのでは？
・論理的に論文は書けていますか？
・論文の結論は、先行研究とこの論文で示したデータからみて妥当でしょうか？スペキュレーションが過ぎる結論になっていませんか？結論や展望が書いてある場合、それは論文のデータからみると、言い過ぎではないですか？

その他いろいろ検討すべき点がでてくるので、それらを十分時間をとって検討し、共著者の意見もとりいれて、原稿を改訂していくことが重要です。その際には、ChatGPTやコーパスツールをはじめとする各種デジタルツールが、また大活躍することでしょう。

最近ネットでいろいろ調べていますが、大学入学レベルの英語力があれば、英語で論文を書くのは最早難しいことではなくなったと思います。是非、デジタルツールを活用して英文を書いて、皆さんの考えや成果を世界に発信してみてください。

twitter ログインしないと見れない、Twitterのログインウオール（login wall）の回避法：nitter.netでログインせずにtwitterを見よう！

ChatGPT plusでコードインタプリタ―（Code interpreter）という機能が使えるようになったと話題になっています。私が受講しているUdemyのコースの講師である中村祐太先生の最新のYouTube動画で、コードインタープリターについてやさしく解説してくださっているものがあるので紹介します。昨日みましたが初心者にとてもわかりやすい良い動画だと思います。
「話題のCode Interpreterってなに？」と思っている方が最初にみるのに最適の お勧め動画です。Code interpreterを使うとファイルのアップロードやダウンロードができるようになり、ファイル操作をプロンプトで要請するだけで、操作完了。その操作を行うPythonコードも作ってくれて、ダウンロードできるようになるそうです。またExcelのcsvファイルをアップロードして解析したりグラフを書いてもらうこともできます。解析結果やPython のコードは、ダウンロードできます。大変画期的な機能が導入されたようで、活用したいものです。是非この動画をご覧ください。

以下は中村先生のYouTube動画の解説（動画の下に表示される「もっと見る」を押すと表示されます）からの引用です。
【ChatGPTの新機能「（コードインタープリター）」について詳しく解説し結果をパワーポイントスライドます！この新機能を使うと、話し言葉でPython コードを生成し、さらにPythonコードの実行も可能になります。

この動画では、コードインタープリターの具体的な使用例を通じて、その可能性を探ります。具体的には以下のような操作を紹介します：

・計算の実行
・csvファイルの読み込みと分析
・Pythonのコードの読み込みと解析
・画像のアップロードと加工（顔検出やトリミングなど）
・OCR（光学的文字認識）
・テキストファイルの読み込みと利用】

動画はつぎのリンクからみられます。
「コードインタープリターの壮大な可能性とは？ChatGPT新機能解説！」
中村祐太のプログラミング入門ナビ
https://youtu.be/80260-E8VoI

twitterでCode interpreterは話題ですが、twitterのアカウントを作っていないので全然ツイートが見られない人もいるかもしれません。幸い、nitterがtwitterのログインウオールを回避するようにアップデートされて、nitterのインスタンスのurlでtwitterのアカウント名をいれればtwitterのアカウント内容は読めるようになりました（この記事の最初に埋め込んだ記事をご覧ください）。twitter本家の、temporaryといって始めたlogin wallの設置はまだ解除されていないようですので、困っている人はnitterを使いましょう。ただ、まだnitterでは検索機能が動かないようです。
（追記：2023/07/12朝には検索機能もnitterで復活しています。）

たとえばツイッターでこんな紹介をしてくれている人がいます。

東大の方の強化学習の講義で微妙に欠けていたトピックがあったので，ためしにChatGPTのCode Interpreterでノートブック形式の講義資料を作らせてみたら，そのまま講義で使えるレベルのものが出力されて感心

ここまでくると，もう受講生が自分で講義資料を生成して，それで個人学習できるのではないか pic.twitter.com/VA0ieFT1xt

— 今井翔太 / Shota Imai@えるエル (@ImAI_Eruel) July 10, 2023

こんなツイートもありました。

https://nitter.net/usutaku_com/status/1678391834937262082#m
役だつ新機能ですね！