国立情報学研究所の「教育機関DXシンポ」シリーズはよい講演が満載の講演会です。以前も紹介したことがありますが、今日も二つほど最新の動画を2本紹介します。(過去の動画一覧はこちらからどうぞ。このサイトには動画へのリンクのほか、講演資料のダウンロードリンクもあって親切です。
https://www.nii.ac.jp/event/other/decs/past.html）
１）【第66回】 大学等におけるオンライン教育とデジタル変革に関するサイバーシンポジウム「教育機関DXシンポ」（6/9 オンライン開催）
https://www.nii.ac.jp/event/other/decs/#edx66
「言語生成AIの仕組み －対話を可能にするための学習－」
鶴岡 慶雅 東京大学大学院情報理工学系研究科 教授
https://youtu.be/hMiL3E_C_oc
この動画の内容は、先生の書かれた概要を少し短く要約すると以下のようになります。「ChatGPTをはじめとする言語生成AIは大規模言語モデ ルとも呼ばれ、大量のテキストを用いて、言語モデル（次の単語を予測するモデル）として学習されていることはよく知られています。この大規模言語モデルを人間との対話ができるモデルにするためには、それだけでは不十分だそうです。この講演ではインストラクションチューニングや人間のフィードバックによる強化学習など、大規模言語モデルを人間との対話が可能なモデルとして構築するための技術について紹介する。」
２）【第65回】 大学等におけるオンライン教育とデジタル変革に関するサイバーシンポジウム「教育機関DXシンポ」（5/12 オンライン開催）
「大規模言語モデルの原理と可能性」(5/12 オンライン開催）
宮尾 祐介 東京大学大学院情報理工学系研究科 教授
https://youtu.be/8-58PkqCek4
こちらは先生の書かれた概要をそのまま引用しておきます。
「ChatGPT に代表される大規模言語モデルを実現している理論・技術や応用について概説し、教育や社会に対する影響や可能性を議論します。理論・技術として言語モデルの基礎やTransformerなどの代表的なニューラルネットワークを解説し、機械翻訳や対話システム、その他最近の大規模言語モデルの応用技術について紹介します。また、現在の大規模言語モデルのしくみやその問題点について説明し、今後の言語モデルの発展の可能性や教育・社会に対する影響について議論します。」
どちらの動画もわかりやすく知らなかったことがいろいろ紹介されていて参考になりました。