YouTube動画の要約をGeminiに頼む事が多いです。これはGoogleがYouTubeを運営しているためGeminiが音声字幕に簡単にアクセスすることができるからです。またGeminiは動画をみることができるそうで動画から定期的二フレームを抽出して内容を理解しているそうです。また字幕だけではなく音声も聴いているとのことで音声の抑揚なども把握しているそうです。ですから動画のurlを渡して「要約して」と依頼するのにはGeminiがおすすめです。
OpenAIのChatGPTで同じように動画の要約を頼んでみました。ChatGPTは音声字幕に直接アクセスできないので字幕を入手してアップロードする必要があります。字幕は以前紹介したようにChrome の機能拡張であるYouTube summaryやGlasp Web Highlighterで取得することができます。
これらの機能拡張で字幕を入手してChatGPTにわたせば的確な要約を作ってくれるのでおすすめです。YouTube以外の動画からの字幕作成にはOpenAIのWhisperを使うとよいでしょう。Pythonから使う方法や、Buzzというオープンソースのソフトを使ってWhisperを使うことができるので、字幕を簡単に入手することができます。ただChatGPTは動画をみているわけではないので、スライドを読むことができません。それで動画から切り出したスライドの画像ファイルをアップロードすると要約が一段と詳細になります。ChatGPTは動画を直接見ることができないのですが、アップロードされた画像、図、グラフ、スクリーンショットを理解できるからです。
明日は、Whisperを使って字幕を作る方法の解説をしますのでお楽しみに。英語教材の文字起こしにもものすごく役立つソフトです。