タンパク質の三次元構造の予測、数学オリンピックの問題の正しい解答、画像の生成、音声の理解、動画の作成などいまやLLMは汎用人工知能にどんどん近づいている気がします。なぜニューラルネットワークに基づくAIはこれほどいろいろな問題を解くことができるのでしょうか。ChatGPTが公開された時、なぜこれほどまでに優秀なAIになっているのかは、つくっている研究者にのまだわからないという話をききました。さきほど英国Royal SocietyのYouTubeチャンネルをみていたら、フランスのコレージュ・ド・フランスのStéphane Mallat教授が その問題を議論している動画をみつけたので紹介しておきます。教授は画像圧縮JPEG-2000のもとになった理論の開拓で有名だそうで、現在はニューラルネットワークの数学理論を研究しているそうです。ものすごい性能のAIがなぜそれほど優秀なのかを明らかにする研究へのいざないの講義です。
The Royal Society Milner Award Lecture 2023 given by Professor Stéphane Mallat
From deep network mysteries to physics | The Royal Society
https://youtu.be/eqccbNiYlQk?si=_F3fuRdv6jhOyfFI