给 1 万帧视频做目标分割，显存占用还不到 1.4GB，代码已开源 | ECCV 2022

图片地址：https://img.ithome.com/newsuploadfiles/2022/7/7f29da5b-6f99-47ce-968d-8b46e7f01880.gif

咦，怎么好好的藤原千花，突然变成了“高温红色版”？这大紫手，难道是灭霸在世？？如果你以为上面的这些效果只是对物体后期上色了，那还真是被 AI 给骗到了。这些奇怪的颜色，其实是对视频对象分割的表示。但有一说一，这效果还真是让人一时间分辨不出。无论是萌妹子飞舞的发丝：还是发生形状改变的毛巾、物体之间来回遮挡：AI 对目标的分割都称得上是严丝合缝，仿佛是把颜色“焊”了上去。不只是高精度分割目标，这种方法还能处理超过 10000 帧的视频。而且分割效果始终保持在同一水平，视频后半段依旧丝滑精细。更意外的是，这种方法对 GPU 要求不高。研究人员表示实验过程中，该方法消耗的 GPU 内存从来没超过 1.4GB。要知道，当下基于注意力机制的同类方法，甚至都不能在普通消费级显卡上处理超过 1 分钟的视频。这就是伊利诺伊大学厄巴纳-香槟分校学者最新提出的一种长视频目标分割方法 XMem。目前已被 ECCV 2022 接收，代码也已开源。如此丝滑