快手上传清晰原图教程 快手画质高清设置方法
现在,视频超分辨率算法再次取得了新的突破。
一篇最新登上CVPR 2022的论文,从新的视角统一了视频超分辨率中的低分辨率和高分辨率的时序建模思路。
该论文提出了一种新的视频超分辨率框架,该框架能充分利用低分辨率和高分辨率下的时序互补信息,以较小的计算代价带来更多细节和纹理的超分辨率结果。这一研究在多个公开数据集上达到了SOTA效果,为后续的视频超分辨率研究提供了新的灵感。
超分辨率是计算机视觉领域的经典技术,它通过图像的自然结构信息实现图像从低分辨率到高分辨率的映射。深度学习的发展使得卷积网络在图像超分辨率场景取得了显著效果。随着研究的深入,人们开始将目光转向更难的视频超分辨率任务。
视频超分辨率的难点在于时序信息的利用。现有的时序建模方法大致分为两个方向:基于光流、可变形卷积、3D卷积的方法和基于递归隐状态累积的方法。尽管这些方法在某种程度上都取得了一定的效果,但它们仍面临信息利用的灵活性和实时性等问题。
针对这些问题,本文提出用相邻帧的时间残差图来统一低分辨率和高分辨率的时序建模视角。该方案不仅能区分帧间低变化和高变化区域,还能将不同时刻的预测结果以较小的运算代价传播到任意过去和未来的时刻。
本文提出的视频超分辨率结构(ETDM)虽然采用单向循环网络的传播结构,但在时间残差图的帮助下,当前时刻的初步超分辨率结果可以被多个过去和未来的结果进一步增强。在学术公开集Vid4上的处理效果超过了众多已经发表的视频超分辨率方案。
快手音视频技术团队在视频超分辨率技术方面有着深入的研究和应用。该团队建立的音视频技术体系保障了快手海内外数亿用户的体验,驱动了平台多元业务的发展。
— 完 —