ChatGPTに代表される大規模言語モデルLarge Language Model (LLM)はAIの時代の到来を告げる画期的研究成果です。このLLMの教科書ともいえる論文が頻繁に改訂されながらプレプリントサーバーにアップされているそうです。中国人研究者によるLLMのサーベイ論文で、”A Survey of Large Language Models”.というタイトルです。https://arxiv.org/abs/2303.18223
これを紹介している東大の今井翔太先生のtwitterを紹介しておきます。
もはやLLM界隈の教科書となっているこのサーベイ,新たに34p追加,200個以上の参考文献が追加されたようで,この分野の発展速度を物語っています
“A Survey of Large Language Models”https://t.co/ymf6tnzduZ
この論文,今年3月に投稿されたのですが,私が記憶している限りもう10回以上更新されてます pic.twitter.com/nNVZIrHrIL— 今井翔太 / Shota Imai@えるエル (@ImAI_Eruel) July 6, 2023
この論文は、GitHubに公式サポートページがあって、いろいろ有用な情報や論文の図(上のtweetにある図もみられます）や表、そして改訂情報などがのっています。The official GitHub page for the survey paper “A Survey of Large Language Models”. arxiv.org/abs/2303.18223
https://github.com/RUCAIBox/LLMSurvey
この論文では、LLMの発展史もまとめられていますし、実用的に興味があるところでは、
よりよいプロンプトを設計する方針についてもサーベイしてあります。論文内に参考になるプロント作成の原則が書かれています(p53に表があります）。これは役立ちそうです。
https://github.com/RUCAIBox/LLMSurvey/blob/main/Prompts/README.md
最後に今井先生のボスである松尾豊先生が7月4日に講演された以下の会
“東大×生成AIシンポジウム 「生成AIが切り拓く未来と日本の展望」”というタイトルのシンポジュウムのサイトとYouTube動画を紹介して今日の記事を終わります。
https://www.t.u-tokyo.ac.jp/ev2023-07-04
このシンポジュウムの第一部の動画は以下にあります。このシンポジュウムでは岸田総理の挨拶もあったようです。
https://youtu.be/Qms3DsP6NG4