The Nomura Institute of Glycosciece Blog

OpenAIのアルトマン解任騒動は決着したようでよかったです。なんか汎用人工知能AGIに近づくような画期的人口知能システムQ*が開発されてその扱いをめぐって解任騒動が起こったという噂もあるようですね。本当でしょうか？

ちょうど本日、YouTubeに、OpenAIの創業にかかわったAndrej Karpathyさんの大規模言語モデル (LLM)入門の１時間の講演がアップロードされました。
[1hr Talk] Intro to Large Language Models
https://youtu.be/zjkBMFhNj_g?si=MjMQAZBXZYgZPEzg

もともとはAI Security Summit (今年の11月14-16日開催。参加は招待されたもののみ可能）での講演だったのですが、講演は評判が良く、聞きたかったという人が大勢いたそうです。そこで新たに講演を再現したdirector’s cut版の講演動画を作り、スライドもダウンロードできるようにしたうえでYouTubeに公開したそうです。
Andrej KarpathyさんはOpenAIの中の人なので、これはおすすめの動画です。講演はオープンソースの Llama 2 70Bを例にとってのLLMの解説から始まります。LLMの中身にはどんなフォルダがあるのか、興味津々ですよね。中身の二つのフォルダ(巨大なパラメーターを記述したフォルダと、LLMを動かすコードを記述したフォルダ）をMac Bookにダウンロードして、一方のフォルダにあるC言語でかかれたコードを動かすと、ネットにつながっていなくても自分のパソコンでLLMが動くのだそうです。もっともHDD容量がものすごく必要ですし、回答がでるまでには結構時間がかかるのはパソコンですからしかたがありません。こんな説明の後には、LLMの動作原理、transformerの話、ハルシネーションの話などが続きます。ニューラルネットワークのパラメータがどのように相互作用してAIがちゃんとした回答をするのかの詳細はほとんどわかっていないそうです。制御できるのは、どうやってより正しい回答をするようにAIを訓練、調整するかだそうです。　ChatGPTのトレーニングはどのように行われているかとか、適切なプロンプトの与え方についての説明も役立ちます。もちろん最近使えるようになってGPTsの紹介もあります。注目すべきは、今後のAIの発展の話です。あと数年以内に現在のChatGPTにSystem 2が追加された形の汎用人工知能もどきが登場するようです。見て、話して、自分でネットを調べて、正確な推論ができる人工知能の登場は間近だそうです。最初に書いた、今噂のQ*のことなのでしょうか。面白い動画です。またAIのセキュリティの話（爆弾を作る方法とか人類を滅亡させる方法を教えてとLLMに問いかけても、答えを教えないようになっているのをどうやって答えさせるか（いわゆるjail breakのやり方）の話もあります。またプロンプトインジェクションの話もしっかり入っていて、これは必見の動画です。是非ご覧になることをおすすめします。

大学で働くときの一番のメリットは、学生さんと一緒に学び、研究するのでいつも新鮮な知識や考え方、柔軟性のある生き方に接することができるということだと思います。また若い人は柔軟な思考ができるので、私たちが考え方を教えるとそれをあっとゆうまに自分のものにしてしまいます。九州大学時代はほんとうに楽しい研究生活をおくれたと学生さん達にいつも感謝しています。さて今日は、若い学生さんの書かれた学び方についての記事を紹介します。以下のツイートをまずご覧ください。

https://nitter.net/A7_data/status/1725776854592721286#m

先日、AIを駆使して卒論を7割終わらせつつ、TOEIC 915を1ヶ月で達成しましたが、めちゃくちゃ詳しく解説しました

15000字超えました

正直、書きすぎたし、これ読めば1ヶ月で900超えられるはず

既に50いいね超えの好評判https://t.co/yutgVqQVqk

— A7｜データサイエンティスト目指してる大学生 (@A7_data) November 18, 2023

このツイートにリンクのあるQuiitaの次の二つの記事が役立ちます。

「中学英語レベルの純日本人理系大学生が、1ヶ月ちょいでAI駆使して卒論7割終わらせながらTOEIC 900超えた話」
https://qiita.com/mohki7/items/76b4cdda669bce548511
TOEIC 900超えの勉強法の他に、卒論の部分には　ChatGPTなどの活用例が書かれています。

こちらは現代の現役の大学生がどんなふうにデータサイエンスを学んでいるかがわかる、とても良い記事だと思います。
「優良データサイエンス関連教材をたっくさんまとめてみた【僕の学習記録】」
https://qiita.com/mohki7/items/c3f26916d79a0e3269cc

夕方は恒例の計算生命科学の基礎10の講義を聴講しました。Zoomで講義を聞いている最中、外は雷。霰が激しく降っていました。
今日の講義は「インシリコ創薬の基礎と応用」という題で、講師は広川 貴次先生（筑波大学 医学医療系 教授）でした。広川先生の講義はこの分野を学んでみようという意欲をかきたてる名講義でした。毎年講義されているとのことで、昨年の講義はこちらで公開されています。
https://www.r-ccs.riken.jp/about/careers/e-learning/intro-com-life-sci-2022/life-science9-7/
昨年の講義との主な違いについて以下にメモしておきます。YouTubeで公開されている去年の講義と同じスライドが多かったので、興味のある方は動画をご覧ください。

ざっと昨年の講義を拝見しましたが、今年は昨年の講義に加えて基礎的な部分では化合物生成AIの話とその理解に必要な線形表記の解説が加わっていてSMILES、WLN、ROSDAL、SLN(SYBYL)、InChIなどが代表的な線形表記法だというのがわかりました。化合物生成AIは化合物を線形表記法でAIが扱えるように１次元表記することでコンピュータによる分子設計が可能になるわけです。講義ではSMILESを代表的な線形表記法としてとりあげてそのわかりやすい解説がありました。
またAlphaFold2がStructure-Based Drug Design (SBDD）にどのくらい使えるのかというお話もあって参考になりました。
以下の論文があるとのことでしたが、その引用文献を検索するとさらに最新の情報も得られるとのことでした。
Scardino V, Di Filippo JI, Cavasotto CN. How good are AlphaFold models for docking-based vi
screening? iScience. 2022 Dec 30;26(1):105920.
こちらから読めます。https://www.ncbi.nlm.nih.gov/pmc/articles/PMC9852548/
またドッキング法については（参考）グローバルドッキングの最新事情：拡散モデル理論に基づくドッキング法
というタイトルのスライドで、以下の文献の簡単な紹介がありました。
DiffDock: Diffusion Steps, Twists, and Turns for　Molecular Docking
Gabriele Corso, Hannes Stärk, Bowen Jing, Regina Barzilay & Tommi Jaakkola
CSAIL, Massachusetts Institute of Technology
arXiv:2210.01776v1 [q-bio.BM] 4 Oct 2022
これもこちらから読めます。https://arxiv.org/abs/2210.01776

脱線ですが、SMILESで思い出しました。中学校の英語の時間に、先生が英語で一番長い単語はなにか知っていますか？と皆にきいたあと、教えてくれた正解がsmilesでした。s とs の間が一マイルもある単語です。