AI 视频理解天花板：全新 MiniGPT4-Video 刷爆 SOTA，宝格丽宣传片配文一绝

图片地址：https://img.ithome.com/newsuploadfiles/2024/4/ec7919a5-a0c9-4f4d-8633-ef81adb6b2eb.gif

秒懂视频的 AI 诞生了！KAUST 和哈佛大学研究团队提出 MiniGPT4-Video 框架，不仅能理解复杂视频，甚至还能作诗配文。几天前，OpenAI 官方账号发布了第一支由 Sora 制作的 MV——Worldweight，引全网围观。AI 视频，已然成为多模态 LLM 发展的大趋势。然而，除了视频生成，让 LLM 对复杂视频进行理解，也至关重要。最近，来自 KAUST 和哈佛大学的研究人员提出了 MiniGPT4-Video—— 专为视频理解而设计的多模态大模型。论文地址：https://arxiv.org/ pdf / 2404.03413.pdf值得一提的是，MiniGPT4-Video 能够同时处理时态视觉数据和文本数据，因此善于理解视频的复杂性。比如，上传一个宝格丽的首饰宣传视频。MiniGPT4-Video 能够为其配出标题，宣传语。再比如，使用虚幻引擎制作的视频，新模型可以对其进行理解。能看出这个视频使用了