ChatGPTやBERTなどで使われているTransformerについての動画を紹介します。

ChatGPTやBERTなど最近のLLMではtransformerという仕組みが使われています。BERTはBidirectional Encoder Representations from Transformersの略で、GPTはgenerative pre-trained transformerの略です。どちらもtransformerを使っていることがわかります。
transformerは機械翻訳だけでなく、コンピュータービジョンにも応用されています。また音声を文章に書き起こしたり、図に説明をくわえたりするのにも利用されており、それぞれの用途で素晴らしい成績をあげています。

transformerについて理解したいと思い解説のYouTubeを探してみました。日本語ではこちらなどはどうでしょう。
https://youtu.be/50XvMaWhiTY

このチャンネルには深層学習の基礎からはじめて、transformerの理解の不可欠なニューラルネットワーク、リカレントニューラルネットワーク(RNN)、注意メカニズム(Attention Mechanism)などを学ぶことができます。必要な線形代数などの知識についての動画もありますので学びやすそうです。
https://www.youtube.com/playlist?list=PLhDAH9aTfnxKXf__soUoAEOrbLAOnVHCP
英語ではスタンフォード大学の講義もあります。https://web.stanford.edu/class/cs25/
YouTubeで動画がみられますし、上のサイトから資料もダウンロードできます。ただ講師の英語がききとりにくいので、字幕を表示しながら視聴する必要がありました。私は途中で挫折中です。チャンネルはこちらです。https://www.youtube.com/playlist?list=PLoROMvodv4rNiJRchCzutFw5ItR_Z27CM

初回の動画はこちらです。サイトへ埋め込めないのでリンクだけ示しておきます。
https://youtu.be/XfpMkf4rD6E

ChatGPT plusで使えるプラグインで、動画の要約を試してみました。

ChatGPTで動画の要約ができるかどうか試しています。まださっき始めたばかりなのですが、GPT-4のpluginのWebpilot、Video Insights、ChatWithVideoというプラグインを試しているところです。プラグインはいろんなものが公開されていて、他にも数式処理が得意で、一般常識もそなえているWolfram alphaが使えるpluginのWolframなどもあります。日本語でいろんなプラグインを紹介している以下のYouTube動画を見ると概要がわかるのでお勧めします。
ChatGPTのプラグイン紹介
https://youtu.be/JVQVKc5V0zk

さて動画の要約ですが、上に述べた三つのプラグインは、英語のpluginなのでどうやら英語のスクリプトを探してそれをもとに要約する仕組みのようです。Video Insightsはさらに動画の長さが60分より短いものでなくては要約できないという制限がありました。
ChatWithVideoのプラグインにはその制限はないようです。ただYouTube以外では要約できないようでした。
実は最近、NIH videocastでOverview of ChatGPT and other Large Language Models and their applications in Biomedicineという動画が公開されています。
https://videocast.nih.gov/watch=49795

 

これはNIHのサイトでしかまだ見ることができない (もちろんダウンロードはいつものようにできます)ので、上のurlをChatGPTのプロンプトにいれてみました。するとWebpilotが動き出して以下のように要約してくれました。
【私】Could you please summarize the following video? https://videocast.nih.gov/watch=49795
【ChatGPT】Used WebPilot
The video titled “Overview of ChatGPT and other Large Language Models and their applications in Biomedicine” is a comprehensive review of Large Language Models (LLMs), focusing on their use in Biomedical and Clinical applications. The talk was given by Dr. Shubo Tian and Dr. Qiao Jin, both of whom are research scientists with extensive experience in the field.

Here’s a brief summary of the video:

Introduction and Overview of LLMs: The talk begins with an introduction to LLMs, particularly focusing on ChatGPT and GPT-4 by OpenAI. These models have garnered significant attention from both the general public and professionals in various domains.

Applications in Biomedicine: The speakers discuss how LLMs can be used in various biomedical and clinical applications. This includes information retrieval, information extraction (such as named entity recognition and relation extraction), entity linking, and health outcome predictions.

Potential and Challenges: The talk also addresses the potential of LLMs in driving innovation and improving outcomes in the biomedical field. It discusses the current challenges in the field and how LLMs can help overcome them.

Case Studies and Examples: The speakers provide examples and case studies to illustrate their points. These include the use of pre-trained language models in biomedicine and the development of benchmarks for evaluating LLMs.

Conclusion and Q&A: The talk concludes with a Q&A session where the speakers answer questions from the audience.

Please note that this is a high-level summary and the actual content may contain more detailed information and nuanced discussions.

上手く要約してくれているように思えます。ただ不思議なことに、新しいチャットをはじめて、同じプロンプトをいれてもこの応答が再現できません。なぜかといろいろ試しているうちに、使用回数制限に達したのでこれ以上は調べられませんでした。またわかったらブログに書くことにします。

まとめると、動画の要約はプラグインで可能になっています。プロンプトに動画のurlを入れるだけで要約ができますが、urlをいれても違う動画を要約することがあります。動画のタイトルとurlをならべてpromptにいれると、ちゃんと正しい動画を要約してくれました。ということで、いろいろまだ不完全なところがありますが、要約機能もある程度は使えるようです。

【研究公正に関するヒヤリ・ハット集】(第2版)という面白い本が無料公開されています。

もうそろそろ大学などで研究倫理のeLearningを受講してくださいという通知がやってくる時期になりました。毎年ほとんどおなじ内容を勉強して、クイズに答えて100点とるのも退屈なものです。もうすこし目先のかわった勉強ができたらと思いませんか?
研究して、成果を発表する際に注意しなくてはいけない様々な注意点が、実例に即してわかる本があればと思いますよね。

AMED (エーメド:日本医療研究開発機構 Japan Agency for Medical Research and Development)からそうした要望にピッタリのとてもよい参考書が無料公開されています。コンプライアンス教育の一環として皆が読むとよい本だと思います。捏造とか経理の不正のみならず、利益相反だのギフトオーサーシップ、医療での患者さんの個人情報の扱いなどの注意点も具体的な記述で例が挙げられているので役立ちます。
現代の科学に携わるものが従うべき常識を、まず身につけることが不可欠ですので是非お読みください。

タイトルが【研究公正に関するヒヤリ・ハット集】という面白い題の参考書で、pdf 版が無料でダウンロードできます。
https://www.amed.go.jp/kenkyu_kousei/kiyouzai_hiyarihatto.html
とても参考になる実際に起こった事例にもとづく資料ですので是非ご覧ください。
生命科学や化学、医学の例が多いですがどんな分野の方にも参考になります。
以下は上にあげたAMEDのサイトからの引用です。
【 研究公正 研究公正に関するヒヤリ・ハット集

研究を進めるにあたっては、実際に研究不正を行ってしまう人は少なく、何らかの理由のために不適切な研究行為をしてしまおうか悩みながら思いとどまった例や、周りの人にそれは不適切な行為だと指摘されて不正をせずに済んだ例の方がはるかに多いと考えられます。研究者の皆様にそのような事例を紹介し、似たような境遇になった時に思いとどまれるようにするために、「研究公正におけるヒヤリ・ハット集」を以下の3人の監修者にご協力いただいて作成しました。
PDF版を公開しますので、研究機関での研究倫理教育にお役立てください。自習用としてもお使いいただけます。監修者

片倉啓雄  関西大学 教授
岡林浩嗣  筑波大学 講師
金井康郎  田辺三菱製薬株式会社 主幹 】

宇宙大航海時代へ―恒星間旅行は可能か?―という動画がでています。

英国王立協会の講演動画です。Is interstellar travel possible? – with Les Johnson
https://youtu.be/R3Igzfte8Pc

講演の演者は、NASAでsolar sail 太陽帆による宇宙航行を研究している Les Johnsonさんです。SF作家・科学解説者としても有名です。恒星間飛行はできるのかという問題を宇宙開発の歴史をたどりながら解説してくれます。中でFreeman Dysonが中心になって開発されていたOrion計画についても触れています。Dysonは有名な物理学者で、くりこみ理論の発展に決定的役割を果たしたのですが、受賞者3人までという制限のためノーベル賞を逸したのでも有名です(受賞はシュヴィンガー、ファインマン、朝永の三名)。彼の名をSFでよくでてくるDysonの球面や未来論で聞いたことがある人も多いと思います。この宇宙船は、宇宙船を加速するのに核爆弾の爆発エネルギーを利用すると方式で飛びます。宇宙船の居住区の下に巨大なショック・アブソーバー(衝撃吸収板)を設置します。水爆をこのプレートの後で数秒おきに一発づつ爆発させ、その衝撃で光速の5%程度の速度まで加速するという設計の宇宙船です。講演中、ショック・アブソーバーの説明では、Johnsonさんが江戸東京博物館にいって見た、関東大震災対策のための耐震装置についてふれていました。この宇宙船、地上から発射すると水爆による放射能汚染がおこるので、宇宙空間で船を組み立てて、水爆も宇宙に打ち上げて建造する必要があります。今の物騒な世の中では到底建造は無理ですね。講演によると、なんとJohnsonさんは学会でDysonからProject Orionについて直接話を聞いたそうです。Orion計画が宇宙空間での核兵器禁止条約で開発中止にならなかったら、人類は火星に1970年代には到達していたかもしれません。

その他、この講演ではロケットで恒星間飛行ができるかどうかの検討や、核融合で飛行する宇宙船をつくるというダイダロス計画や、Star trekの反物質推進宇宙船の紹介もあったりして面白いです。宇宙旅行に興味のある方は是非ご覧ください。下にあるのはこの講演で動画が紹介されていたOrion計画の実験の動画です。実際に宇宙船が飛行できることを、実験的に証明している動画です。https://youtu.be/njM7xlQIjnQ

著者のJohnson さんはこのテーマについての本 A Traveler’s Guide to the Starsを書いています。興味のある方は買ってみるとよいと思います。
https://geni.us/fwewWAR

深層学習の初学者向け英語教科書―最新版―がダウンロードできます。”Understanding Deep Learning” to be published by MIT Press

今日は簡単な記事です。
MIT Pressから発行される予定の深層学習の教科書のドラフト版(出版社に送ったものそのまま)が無料で著者のGithubからダウンロードできます。https://udlbook.github.io/udlbook/
“Understanding Deep Learning” written by Simon J.D. Prince (Barth大学)To be published by MIT Press. という本です。深層学習のアイデアを初心者に理解してもらうことに狙いを絞った本で、証明などを全く含まない数学的記述と、ほとんどコードを含まない本文からなる本です。前半部(13章のgraph neural networkまで)は学部二年生が読める程度の線形代数や微分積分、確率のレベルで理解できるように書いてあるそうです。それ以降の生成モデルや強化学習を扱う章はより進んだ読者向けだそうです。また末尾にはDeep Learningの倫理的側面についての専門家が執筆した章もついています(著者はTravis LaCroix と Simon J.D. Prince)。
この本のスライドや図、python codeの入っているnotebookなどはこちらからダウンロードできます。
https://github.com/udlbook/udlbook

RNAに糖鎖が付加されることがあるのをご存知ですか? glycoRNAと名付けられた分子です。

糖鎖がついたRNA=glycoRNAという全く新しい複合糖質(glycoconjugate=糖鎖が結合した分子)が発見されています。

ノーベル化学賞を去年受賞したBertozziさんと、Ryan A Flynnさんが、糖鎖が結合したRNAを発見し、glycoRNA (glycosylated RNA)と名付けました (ノーベル賞受賞前の2021年の論文です)。糖鎖が結合した生体分子には、糖タンパク質と糖脂質があることは有名ですが、RNAにも糖鎖が結合していること、そしてそれがN型糖鎖であること、シアル酸とフコースに富んだ糖鎖であり、glycoRNAは主に細胞膜表面に存在している事などが以下の論文で報告されています (これはオープンアクセスで誰でもダウンロードして読めます。)
https://pubmed.ncbi.nlm.nih.gov/34004145/
Cell. 2021 Jun 10;184(12):3109-3124.e22.doi: 10.1016/j.cell.2021.04.023. Epub 2021 May 17.
Small RNAs are modified with N-glycans and displayed on the surface of living cells

そして細胞表面に存在するglycoRNAを可視化することに成功したという論文が5月22日に発表されました。glycoRNAはラフトと共局在しており、細胞内の移動は SNARE タンパク質を介した secretory exocytosisを使っているらしいことも述べられています。
Ma, Y., Guo, W., Mou, Q. et al. Spatial imaging of glycoRNA in single cells with ARPLA. Nat Biotechnol (2023).
https://doi.org/10.1038/s41587-023-01801-z
こちらはNature Biotechnologyにでている論文でpay wallの中にあるので、契約している機関や購読している個人、あるいはお金を払って購入してからしか読むことができません。ただ図は上のリンクにあるFiguresのタブからみられますし、以下のリンクからもみることができますので、glycoRNAが細胞膜上のラフトに共局在している様子や、癌細胞や免疫細胞でglycoRNA の発現量が変動している様子などがみられます。
https://figshare.com/projects/Spatial_Imaging_of_GlycoRNA_in_single_Cells_with_ARPLA/164113

RNAにN型糖鎖が結合したものが存在して、それが癌細胞に対する免疫応答に関与しているレクチン、シグレックsiglecと相互作用するというのですからことは重大です。今までその存在すら予想されていなかったglycoRNAの発見と、それがsiglecに結合するということ、そして細胞表面に存在している事実は極めて重要です。ノーベル賞がもう一つとれる業績ですね。世の中まだまだ未知なものが多いということを肝に銘じて研究しなくてはならないと思います。

ロザリンド・フランクリンのDNAの構造解明への貢献

五月はじめにロザリンド・フランクリンの墓碑銘について書きました。
2020年はロザリンドフランクリン生誕100年だったようで英国の記念コインもこれを祝って発行されたようです。

ロザリンド・フランクリンの墓碑銘

今日は、フランクリンを中心にすえたDNAの構造発見物語を紹介します。アメリカの医師で、ミシガン大学教授の医学史家Howard Markelが、ワトソンやフランクリンの妹さんのJenifer Glynnとのインタビューも行って書いた2021年発行の本です。
Howard Markel: Rosalind Franklin, James Watson, Francis Crick and the Discovery of DNAs Double Helix
まだ買っていませんがとても面白そうな本です。この本と同じタイトルの彼のケンブリッジ大学で行った講演を以下のYouTubeチャネルで見ることができます。
Churchill College, University of Cambridge
https://www.youtube.com/@churchillcollege/featured
動画のリンクはこちらです。
https://youtu.be/TxqYoBQjtWg

フランクリンの妹さんの回想はこちらからPodcastで聞けます。
https://www.thenakedscientists.com/articles/interviews/jenifer-glynn-remembering-rosalind

これは以下のNaked Scienceというpodcastシリーズの一つです。
https://www.thenakedscientists.com/podcasts/naked-scientists-podcast/rosalind-franklin-hidden-story-dna

写真は連休明けにとどいた英国発行のRosalind Franklinの記念コインです。送料込みで英国のショップから27ポンドほどで買えました。

偏微分方程式をオンラインで解いて解の挙動を目で見ることができるサイトVisualPDEが公開されています!

先月は複雑系を遊びながら理解できるサイトを紹介しました。

複雑系の科学でよく話題になる、カオスについて遊べるサイトを紹介します。

今日は偏微分方程式をオンラインで解けて遊べるVisualPDEというサイトを紹介します。https://visualpde.com/
PDEはpartial differential equation 偏微分方程式の略です。偏微分方程式の解をオンラインで求めて目で見ることができるというサイトです。サイトの詳しい紹介は英語ですが、作成者による以下の記事をご覧ください。
https://chalkdustmagazine.com/regulars/on-the-cover/visual-pde/

熱の拡散やいろんな反応拡散方程式、シュレーディンガー方程式、Brusselatorによる形態形成モデル、ギーラー・マインハルトの形態形成モデル、人工生命のモデルとしても研究されているGray–Scott systemなどいろんな偏微分方程式の解をみることができます。自分でパラメータや拡散定数を変えて解がどのようにかわるかをみることも簡単です。

 左のGray-Scott systemでパラメータをどんな値にすると解の挙動がどうかわるかが以下のページに表になっているので、いろいろ変えて遊んでみてください。
https://visualpde.com/nonlinear-physics/gray-scott.html

 

 

Gray-Scott systemの生成する解の一例は次の図です。

ChatGPTに俳句を詠んでもらいました。

ChatGPT のGPT-4で遊んでみました。ChatGPTは俳句をどれくらい理解しているのか試してみたので報告します。
まずは第二次世界大戦前の理化学研究所に滞在していたドイツ人物理学者が詠んだ俳句を採点してもらうことからはじめました。


【私】次の俳句を採点してください。「鎌倉につるがたくさんおりました。」
【ChatGPT】「鎌倉につるがたくさんおりました」というフレーズは、詩的な表現であることは確かですが、伝統的な俳句の形式には従っていません。
伝統的な日本の俳句は、5-7-5の音節パターン(総計17音節)で構成されます。しかし、「鎌倉につるがたくさんおりました」はそのルールを守っていません。このフレーズは「かまくらに つるがたくさん おりました」の11-6-6パターン(合計23音節)になります。また、伝統的な俳句には「季語」と呼ばれる季節の言葉と、カッター(断絶や転換を示す)と呼ばれる要素が含まれています。このフレーズには明確な季語もカッターもありません。したがって、伝統的な俳句の形式に基づくと、このフレーズの採点は低い可能性があります。しかし、詩や自由詩のような他の詩的形式として見れば、それは風景を描写していて美しいと言えるかもしれません。

【私】ではこれはどうでしょう。荒滝や満山の若葉みなふるう。
【ChatGPT】「荒滝や満山の若葉みなふるう」という俳句は、伝統的な5-7-5の音節構成に従っています。
「あらたき や」 – 5音節
「まんざんの わかば」 – 7音節
「みなふるう」 – 5音節
この俳句には、自然や季節の景色を描写する表現が見られ、「若葉」は春の季語と解釈できます。そして、「や」はカッターとして機能し、詩の二部分(「荒滝や」と「満山の若葉みなふるう」)をつなげています。したがって、この俳句は伝統的な俳句の形式に非常によく従っており、高い評価を受けるでしょう。しかし、最終的な採点は、詩の内容、感情、意味などをどのように解釈するかによる部分もあります。

【私】的確な採点だと思います。これは夏目漱石の句です。では かまきりがヒガンバナにのぼってこっちを見ている情景を描写している俳句をつくってみてください。
【ChatGPT】素晴らしいテーマを提供していただきありがとうございます。次のように作ってみました:
「ヒガン花 カマキリ挑む 秋の眼」
【私】(Regenerate Responseボタンを押しました)

【ChatGPT】あなたのリクエストに基づいて以下のように作成してみました:
「秋風やヒガンバナに昇るカマキリ」
この句では、季語として「秋風」を使用し、秋の季節を示しています。また、「や」を使用して詩の二部分(「秋風や」と「ヒガンバナに昇るカマキリ」)をつなげています。カマキリがヒガンバナに登っているという描写は、情景を具体的に思い描くのに役立つ詳細です。
【私】(もう一回Regenerate Responseボタンを押しました)
【ChatGPT】素晴らしいテーマですね。以下にご提案します:
「秋風に カマキリ登り 彼岸花」

この句は秋風(”あきかぜ”)と彼岸花(”ひがんばな”)、そしてその上に登るカマキリという景色を描いています。また、「秋風」は秋の季語として機能しています。
【私】最後の句が一番気に入りました。ありがとう。
【ChatGPT】とてもうれしいです、お気に召していただけたようで。日本の美しい自然と季節を俳句で表現することは、本当に素晴らしい体験ですね。何か他に質問がありましたら、いつでもお気軽にどうぞ。ありがとうございました!


ChatGPTは日本語でも結構人間らしい応答をしますね。ただ俳句を批評するほうが、詠むよりはずっと得意であるという印象でした。俳句を作るときのブレーンストーミングには使えるかもしれません。俳句のテキストを十分に学習させたLLMならきっと驚異的な能力を発揮するのではないでしょうか。

後書き:「鎌倉に鶴がたくさんおりました」 というのは、オットー・ラポルテ(Otto_Laporte)というドイツ人(後、アメリカに帰化)の俳句です。
これは岡潔が著書で紹介していた作品です。著書で読んだのですがどの本か思い出せないのでGoogle検索でみつけた岡潔の講演録から引用します。http://www.okakiyoshi-ken.jp/oka-18-04.html

「日本は、明治以前と以後とでたいへん変わっているのです。明治以後の日本は、西洋の思想をとり入れ、その中に住んでいると申しました。日本語も、実質的には西洋の言葉になってしまっている。
終戦前、それもだいぶん前、物理の寺田先生がまだ理研をやっておられた頃の話ですが、その頃ドイツにオットー・ラポルテという理論物理学者がいた。まだ30前だけれども、スベクトル分析でたいへんよい仕事をした。それで理研はこれを招聘した。ラポルテ氏は寺田先生の教室へ入った。
ところで、ここは俳句が盛んでした。みんな寄って俳句というものを教えた。そうして鎌倉へ旅行した。そうすると、ラポルテ氏は帰ってきて、みんなに俳句をよんだといって示した。その俳句が「鎌倉に鶴がたくさんおりました」。これではどうにも仕方がない。まるで俳句にならない。そう思うでしょう。これは欧米語ですね。」

ここでいう寺田先生は、寺田寅彦です。このオットー・ラポルテという学者は、ハイゼンベルクとパウリの親しい友人で学生時代に3人で自転車旅行をしたりしています。ハイゼンベルクとパウリを仲介する役割を果たして、その後の量子力学の発展に大きな役割を果たしたそうです。彼自身もゾンマーフェルト門下の優秀な理論物理学者です。量子力学、電磁気学、分光学、流体力学で大きな業績をあげ方です。(Wikipediaはこちら。https://en.wikipedia.org/wiki/Otto_Laporte 彼のことは、ハイゼンベルクの書いた本「部分と全体」邦訳47ページなどにも登場します)。Wikipediaによると、日本に来たのは1928年京都大学、1933年と1937年でこの滞在中に日本語を話せるようになり、日本文化への理解を深めたそうです。戦後は日本とアメリカの原子力協定の締結にも働いたそうです。

圏論Category Theoryの英語の入門講演を紹介します。

今日は圏論入門の英語講演を紹介します。
https://youtu.be/48VqWQ2YbGk

英国のthe Royal Institutionの最新の講演ビデオです。演者は英国ケンブリッジ大学でPhDの学位をとった数学者Eugenia Chengさんです。シェフィールド大学でテニュアをもっている方で、シカゴで芸術専攻の学生に抽象数学を教えています。現在ロンドン大学の訪問研究員で、シカゴ大学、ニース大学、ケンブリッジ大学、シェフィールド大学その他で教鞭をとったこともあり、コンサートのピアノ奏者でもあるそうです。世の中から数学嫌いをなくそうというスローガンをかかげて、一般向け講演やウオールストリートジャーナルのコラム執筆も精力的に行っています。今まで多くの一般向けや子供向けの本も書いていて、今年発行された彼女の著書The Joy of Abstraction An Exploration of Math ,Category Theory and Life (Cambridge大学出版局)は翻訳がでるといいと期待しています。
今回の講演は、以下のような内容で圏論について入門的内容を一般向けに解説したものです。まだ見ていないのですが、今は圏論が量子力学の定式化にも用いられるなどブームになっていますので、必見のビデオだといえるでしょう。

The joy of abstract mathematical thinking – with Eugenia Cheng
This talk was recorded at the Ri on 5 April 2023.
00:00 Introduction
06:54 What is category theory?
18:30 What is abstraction?
25:41 Why is context important in mathematics?
33:04 Relationships between things
41:21 Categories – history and definition
50:08 Conclusion