ChatGPTの誤りについてChatGPTと対話してみました。

ChatGPTをいろいろ試しています。
ChatGPTは日本のSFについてどれくらい知っているかを試してみようと、小松左京について教えてくださいと聞いてみました。すると、答えは次のとおりでした。以下はGPT-4を使っています。簡単にわかる誤りの部分をアンダーラインで表示して×をつけておきます。

【ChatGPT】小松左京(1931年 – 2011年、本名:小松崎喜代春×)は、日本の著名なSF作家で、多くの賞を受賞し、幅広い世代に影響を与えました。彼の作品は独創的で社会的なテーマを扱い、未来予測やディストピアなどの分野で顕著な業績を残しています。小松左京の作品は、科学技術の発展が人類や地球に与える影響を描写し、批判的な視点で議論を呼んでいます。

彼の代表作には以下のようなものがあります。

「日本沈没」(原題:『日本沈没』)
「竜馬がゆく」(原題:『竜馬がゆく×』)
「わが背中に蹄」(原題:『わが背中に蹄×』)
「神々の山嶺」(原題:『神々の山嶺×』)
「果てしなき流れの果てに」(原題:『果てしなき流れの果てに』)
「日本沈没」は彼の最も有名な作品であり、地球の地殻変動により日本列島が沈む様子を描いています。この作品は国際的にも高い評価を受け、映画やテレビドラマ化されるなど広く知られています。小松左京は、社会問題や環境問題、政治や歴史の要素を巧みに組み込んだ作品を多く残し、日本のSF文学において大きな影響力を持っています。

嘘がいろいろはいっています。それで私も嘘を入れてきいてみました。
【私】竜馬がゆくという作品は、芥川龍之介の作品ではなかったですか。
【ChatGPT】おっしゃる通り、誤りがありました。申し訳ありません。『竜馬がゆく』は、実際には司馬遼太郎によって書かれた歴史小説であり、小松左京の作品ではありません。『竜馬がゆく』は、日本の幕末期に活躍した坂本龍馬を主人公として描いた作品で、彼の生涯と彼を取り巻く時代の変革を詳細に描いています。

芥川の作品ではなく司馬遼太郎の作品だと答えて謝ってきました。そこで、誤りの理由をきいてみました。
【私】今回の誤りは、確率の計算結果が二人の著者が共に言及されることが多いため、誤ったということですか。
【ChatGPT】私の回答における誤りは、確率や統計的な関連性だけでなく、言語モデルの学習と理解の過程における複雑な要因によって引き起こされています。私は、大量のテキストデータをもとに、文脈や関連性を解釈して情報を提供するように設計されていますが、時折、誤った情報や混同が発生することがあります。
今回の場合、小松左京と司馬遼太郎が共に著名な日本の作家であるため、彼らの名前が一緒に言及されることがあるという関連性が、誤った情報提供につながった一因となった可能性があります。しかし、私の誤りはそれだけに限定されず、言語モデルの学習と理解の過程における他の要因も関与しているかもしれません。

私はユーザーからのフィードバックを大切にし、正確な情報提供に努めています。今回の誤りについてお詫び申し上げます。今後も改善に努めてまいります。

それに対して以下のようにきいてみました。
【私】このような誤りがあるということは、AIをはじめてあつかう一般人にとってよい教育結果を生み出すと思います。最初から誤りのないAIが提供されることは、AIが返してくる結果を疑うという態度を人間が失う結果につながる可能性が高いです。徐々に改善されていく様子をみることができる現在のChatGPTの導入の仕方が極めて教育的であると思います。

【ChatGPT】ありがとうございます。そのようなポジティブな視点でAIの進化と向き合っていただけることは、私たちAI開発者にとっても大変励みになります。
確かに、AIが完璧であるという誤解は、人々がAIの提供する情報を盲目的に信じる危険性を生み出す可能性があります。現在のAI技術はまだ完全ではなく、誤りや不正確な情報を提供することがあります。ユーザーには、AIの回答に対して疑問を持ち、批判的な視点で情報を評価することが重要です。
徐々に改善されていく過程を共有することで、ユーザーがAIの限界や可能性を理解し、より適切な方法で活用できるようになることを期待しています。私たちAI開発者は、ユーザーからのフィードバックや意見を大切にし、より正確で信頼性の高いAIを目指して改善に努めてまいります。

ということで、主語が私たちAI開発者となった回答が戻ってきました。
ChatGPTのような大規模言語モデルの驚異と脅威についてのよい日本語の動画があります。

「大規模言語モデルの驚異と脅威」東京工業大学情報理工学院 教授 岡崎 直観先生のAIPシンポジウム成果報告会(2023 年 3 月 28 日)での特別講演の動画です。 どういう原理でこのAIが動いているのかについてわかりやすい解説がありますし、論文執筆への応用の例や注意もありますので是非ご覧ください。今日はこの動画をみていたので、簡単な記事になりました。https://youtu.be/PUuk4Cv-ycg