AI视频理解模型MiniGPT-4Video发布

AI视频理解模型MiniGPT-4Video发布

人工智能领域又有新进展。随着MiniGPT4-Video的问世,视频理解这项难题有了显著的突破。

据报道,4月4日,KAUST和哈佛大学研究团队发表的论文中提出MiniGPT4-Video框架——专为视频理解而设计的多模态大模型。该模型能够处理时间视觉和文本数据,使其能够熟练地理解视频的复杂性。MiniGPT4-video不仅考虑视觉内容,还集成了文本对话,允许模型有效地回答涉及视觉和文本组件的查询。

例如,MiniGPT4-Video能够为宣传视频配出标题、宣传语;也可以对视频的处理过程进行理解。MiniGPT4-Video甚至可以根据视频内容进行诗歌创作、内容解说等。这意味着,MiniGPT4-Video在处理复杂视频内容时表现亮眼,提供高质量的输出。

据悉,该模型优于现有的最先进的方法,在MSVD、MSRVTT、TGIF和TVQA基准上分别提高了4.22%、1.13%、20.82%和13.1%,模型和代码已公开。但目前的缺陷在于上下文窗口限制。下一步,团队将研究模型能力扩展到处理更长视频的能力。

版权声明:阿里导航 发表于 2024-04-08 11:48。
转载请注明:AI视频理解模型MiniGPT-4Video发布 | 阿里导航

相关文章