EPS：高效补丁采样方法，用于解决深度超分辨率模型训练中的过拟合问题

《IEEE Transactions on Circuits and Systems for Video Technology》：EPS: Efficient Patch Sampling for Video Overfitting in Deep Super-Resolution Model Training

　　

摘要：

利用深度神经网络（DNN）的过拟合特性是当前视频传输系统中的发展趋势，旨在在带宽限制下提升视频质量。现有方法是将过拟合的超分辨率（SR）模型流传输给低分辨率（LR）比特流，然后在解码器处使用这些比特流重构高分辨率（HR）视频。尽管这些方法取得了有希望的结果，但训练大量视频帧所需的巨大计算成本限制了它们的实际应用。为了解决这一问题，我们提出了一种名为EPS的高效补丁采样方法，用于视频超分辨率网络中的过拟合问题，该方法能够识别视频帧中最有价值的训练补丁。为此，我们首先介绍了两种基于离散余弦变换（DCT）的空间-时间特征，以直接衡量每个补丁的复杂性。通过分析这些特征的直方图分布，我们将所有可能的补丁分类到不同的簇中，并从具有最高空间-时间信息的簇中选择训练补丁。采样补丁的数量会根据视频内容自动调整，从而在训练复杂性和效率之间取得平衡。我们的方法将训练补丁的数量减少了75.00%到91.69%，具体取决于分辨率和簇的数量，同时保持了高质量的视频，并显著提高了训练效率。与最先进的补丁采样技术（EMT）相比，我们的方法使补丁采样速度提高了多达82.1倍。