OpenAIのアルトマン解任騒動は決着したようでよかったです。なんか汎用人工知能AGIに近づくような画期的人口知能システムQ*が開発されてその扱いをめぐって解任騒動が起こったという噂もあるようですね。本当でしょうか？
ちょうど本日、YouTubeに、OpenAIの創業にかかわったAndrej Karpathyさんの大規模言語モデル (LLM)入門の１時間の講演がアップロードされました。
[1hr Talk] Intro to Large Language Models
https://youtu.be/zjkBMFhNj_g?si=MjMQAZBXZYgZPEzg
もともとはAI Security Summit (今年の11月14-16日開催。参加は招待されたもののみ可能）での講演だったのですが、講演は評判が良く、聞きたかったという人が大勢いたそうです。そこで新たに講演を再現したdirector’s cut版の講演動画を作り、スライドもダウンロードできるようにしたうえでYouTubeに公開したそうです。
Andrej KarpathyさんはOpenAIの中の人なので、これはおすすめの動画です。講演はオープンソースの Llama 2 70Bを例にとってのLLMの解説から始まります。LLMの中身にはどんなフォルダがあるのか、興味津々ですよね。中身の二つのフォルダ(巨大なパラメーターを記述したフォルダと、LLMを動かすコードを記述したフォルダ）をMac Bookにダウンロードして、一方のフォルダにあるC言語でかかれたコードを動かすと、ネットにつながっていなくても自分のパソコンでLLMが動くのだそうです。もっともHDD容量がものすごく必要ですし、回答がでるまでには結構時間がかかるのはパソコンですからしかたがありません。こんな説明の後には、LLMの動作原理、transformerの話、ハルシネーションの話などが続きます。ニューラルネットワークのパラメータがどのように相互作用してAIがちゃんとした回答をするのかの詳細はほとんどわかっていないそうです。制御できるのは、どうやってより正しい回答をするようにAIを訓練、調整するかだそうです。 ChatGPTのトレーニングはどのように行われているかとか、適切なプロンプトの与え方についての説明も役立ちます。もちろん最近使えるようになってGPTsの紹介もあります。注目すべきは、今後のAIの発展の話です。あと数年以内に現在のChatGPTにSystem 2が追加された形の汎用人工知能もどきが登場するようです。見て、話して、自分でネットを調べて、正確な推論ができる人工知能の登場は間近だそうです。最初に書いた、今噂のQ*のことなのでしょうか。面白い動画です。またAIのセキュリティの話（爆弾を作る方法とか人類を滅亡させる方法を教えてとLLMに問いかけても、答えを教えないようになっているのをどうやって答えさせるか（いわゆるjail breakのやり方）の話もあります。またプロンプトインジェクションの話もしっかり入っていて、これは必見の動画です。是非ご覧になることをおすすめします。