谷歌发布 Mirasol：30 亿参数，将多模态理解扩展到长视频

图片地址：https://img.ithome.com/newsuploadfiles/2023/11/1aec2115-6158-49d0-9c76-05fda94bfa6f.png?x-bce-process=image/format,f_auto

IT之家 11 月 16 日消息，谷歌公司近日发布新闻稿，介绍了小型人工智能模型 Mirasol，可以回答有关视频的问题并创造新的记录。AI 模型目前很难处理不同的数据流，如果要让 AI 理解视频，需要整合视频、音频和文本等不同模态的信息，这大大增加了难度。谷歌和谷歌 Deepmind 的研究人员提出了新的方法，将多模态理解扩展到长视频领域。借助 Mirasol AI 模型，该团队试图解决两个关键挑战：需要以高频采样同步视频和音频，但要异步处理标题和视频描述。视频和音频会生成大量数据，这会让模型的容量紧张。谷歌在 Mirasol 中使用合路器（combiners）和自回归转换器（autoregressive transformer）模型。该模型组件会处理时间同步的视频和音频信号，然后再将视频拆分为单独的片段。转换器处理每个片段，并学习每个片段之间的联系，然后使用另一个转换器处理上下文文本，这两个组件交换有关其各自输入的信息。名为