ChatGPTやBERTなど最近のLLMではtransformerという仕組みが使われています。BERTはBidirectional Encoder Representations from Transformersの略で、GPTはgenerative pre-trained transformerの略です。どちらもtransformerを使っていることがわかります。
transformerは機械翻訳だけでなく、コンピュータービジョンにも応用されています。また音声を文章に書き起こしたり、図に説明をくわえたりするのにも利用されており、それぞれの用途で素晴らしい成績をあげています。
transformerについて理解したいと思い解説のYouTubeを探してみました。日本語ではこちらなどはどうでしょう。
https://youtu.be/50XvMaWhiTY
このチャンネルには深層学習の基礎からはじめて、transformerの理解の不可欠なニューラルネットワーク、リカレントニューラルネットワーク（RNN）、注意メカニズム（Attention Mechanism）などを学ぶことができます。必要な線形代数などの知識についての動画もありますので学びやすそうです。
https://www.youtube.com/playlist?list=PLhDAH9aTfnxKXf__soUoAEOrbLAOnVHCP
英語ではスタンフォード大学の講義もあります。https://web.stanford.edu/class/cs25/
YouTubeで動画がみられますし、上のサイトから資料もダウンロードできます。ただ講師の英語がききとりにくいので、字幕を表示しながら視聴する必要がありました。私は途中で挫折中です。チャンネルはこちらです。https://www.youtube.com/playlist?list=PLoROMvodv4rNiJRchCzutFw5ItR_Z27CM
初回の動画はこちらです。サイトへ埋め込めないのでリンクだけ示しておきます。
https://youtu.be/XfpMkf4rD6E