ChatGPTで動画の要約ができるかどうか試しています。まださっき始めたばかりなのですが、GPT-4のpluginのWebpilot、Video Insights、ChatWithVideoというプラグインを試しているところです。プラグインはいろんなものが公開されていて、他にも数式処理が得意で、一般常識もそなえているWolfram alphaが使えるpluginのWolframなどもあります。日本語でいろんなプラグインを紹介している以下のYouTube動画を見ると概要がわかるのでお勧めします。
ChatGPTのプラグイン紹介
https://youtu.be/JVQVKc5V0zk
さて動画の要約ですが、上に述べた三つのプラグインは、英語のpluginなのでどうやら英語のスクリプトを探してそれをもとに要約する仕組みのようです。Video Insightsはさらに動画の長さが60分より短いものでなくては要約できないという制限がありました。
ChatWithVideoのプラグインにはその制限はないようです。ただYouTube以外では要約できないようでした。
実は最近、NIH videocastでOverview of ChatGPT and other Large Language Models and their applications in Biomedicineという動画が公開されています。
https://videocast.nih.gov/watch=49795
これはNIHのサイトでしかまだ見ることができない (もちろんダウンロードはいつものようにできます）ので、上のurlをChatGPTのプロンプトにいれてみました。するとWebpilotが動き出して以下のように要約してくれました。
【私】Could you please summarize the following video? https://videocast.nih.gov/watch=49795
【ChatGPT】Used WebPilot
The video titled “Overview of ChatGPT and other Large Language Models and their applications in Biomedicine” is a comprehensive review of Large Language Models (LLMs), focusing on their use in Biomedical and Clinical applications. The talk was given by Dr. Shubo Tian and Dr. Qiao Jin, both of whom are research scientists with extensive experience in the field.
Here’s a brief summary of the video:
Introduction and Overview of LLMs: The talk begins with an introduction to LLMs, particularly focusing on ChatGPT and GPT-4 by OpenAI. These models have garnered significant attention from both the general public and professionals in various domains.
Applications in Biomedicine: The speakers discuss how LLMs can be used in various biomedical and clinical applications. This includes information retrieval, information extraction (such as named entity recognition and relation extraction), entity linking, and health outcome predictions.
Potential and Challenges: The talk also addresses the potential of LLMs in driving innovation and improving outcomes in the biomedical field. It discusses the current challenges in the field and how LLMs can help overcome them.
Case Studies and Examples: The speakers provide examples and case studies to illustrate their points. These include the use of pre-trained language models in biomedicine and the development of benchmarks for evaluating LLMs.
Conclusion and Q&A: The talk concludes with a Q&A session where the speakers answer questions from the audience.
Please note that this is a high-level summary and the actual content may contain more detailed information and nuanced discussions.
上手く要約してくれているように思えます。ただ不思議なことに、新しいチャットをはじめて、同じプロンプトをいれてもこの応答が再現できません。なぜかといろいろ試しているうちに、使用回数制限に達したのでこれ以上は調べられませんでした。またわかったらブログに書くことにします。
まとめると、動画の要約はプラグインで可能になっています。プロンプトに動画のurlを入れるだけで要約ができますが、urlをいれても違う動画を要約することがあります。動画のタイトルとurlをならべてpromptにいれると、ちゃんと正しい動画を要約してくれました。ということで、いろいろまだ不完全なところがありますが、要約機能もある程度は使えるようです。