高糊视频秒变 4K，速度比 TecoGAN 快了 9 倍，东南大学提出新的视频超分辨率系统

图片地址：https://img.ithome.com/newsuploadfiles/2021/7/d249ab50-68f9-4992-8155-f436f80f832c.gif

把高糊视频变清晰，对于 AI 而言算不上新鲜事。但如果是实时处理，而且速度比主流方法还快了 9 倍呢？而且计算量降低了，重建图像的质量却还非常能打：这种图像质量和速度性能之间的平衡到底是怎么做到的？今天就来看看东南大学的研究者们带来的最新研究：4K 视频实时超分辨率系统 EGVSR。GAN 保证重建质量为了使模型具有良好的感知质量，生成对抗网络 GAN 成为了超分辨率研究中广泛使用的一种方法。比如，要处理 VSR 任务中大规模的分辨率退化，就常常依靠 GAN 的深度特征学习能力。于是参考 TecoGAN 的设计，EGVSR 系统引入了空间-时间对抗结构，用来帮助判别器理解和学习空间-时间信息的分布。也避免了传统 GAN 在时域遇到的不稳定效应。同时，研究者参照高效 CNN 架构，为 EGVSR 设计了一个轻量级的网络结构：▲ EGVSR 生成器的部分框架其中，生成器部分分为 FNet 模块和 SRNet 模块，分别用于