频域无混叠与无Sinc伪影池化（ASAP）——一种抗混叠与抗振铃伪影的CNN下采样方法

《INTERNATIONAL JOURNAL OF COMPUTER VISION》：Fix Your Downsampling ASAP! Aliasing and Sinc Artifact Free Pooling in the Fourier Domain

　　

卷积神经网络（CNN）在各类计算机视觉任务中取得了成功。然而，从图像与信号处理的角度来看，这一成功是反直觉的：大多数CNN固有的空间金字塔设计在其下采样操作中明显违反了基本信号处理定律，即采样定理（Sampling Theorem）。这一问题长期被忽视，直到近期关于对抗攻击和分布偏移的研究表明，CNN的脆弱性与违反带宽限制的下采样所引发的混叠伪影之间存在强相关性。作为解决方案，研究人员提出了一种在频域中实现的无混叠下采样操作，称为频域低频截止池化（Frequency Low Cut Pooling，FLC Pooling），并进一步扩展为无混叠且无Sinc伪影池化（Aliasing and Sinc Artifact-free Pooling，ASAP）。ASAP既无混叠，又消除了sinc插值带来的额外伪影。研究人员在ImageNet-1k、ImageNet-C和CIFAR数据集上对多种CNN架构进行的实验评估表明，使用FLC Pooling和ASAP作为下采样方法的网络能够学习到更稳定的特征，具体体现在对常见损坏（common corruptions）和对抗攻击的鲁棒性提升上，同时其干净精度（clean accuracy）与相应基线模型基本持平。

论文解读

一、研究背景与问题提出

卷积神经网络（Convolutional Neural Network，CNN）在计算机视觉领域取得了巨大成功，其典型架构通常采用小卷积核与下采样操作的组合，以扩大感受野并控制计算成本。然而，从信号处理的角度审视，这一设计存在一个根本性矛盾：大多数CNN的下采样操作，如最大池化（MaxPooling）、平均池化（AveragePooling）或步长为2的卷积（strided convolution），都违反了采样定理（Sampling Theorem）的基本要求。当信号的采样率低于其带宽的两倍（即奈奎斯特率，Nyquist rate）时，高频分量会折叠到低频区域，产生混叠伪影（aliasing artifacts）。

这一问题在很长一段时间内未受到足够重视，直到近期研究表明，CNN对分布偏移（distribution shifts）和对抗攻击（adversarial attacks）的脆弱性与下采样引发的混叠伪影之间存在强相关性。已有研究主要集中于通过空间域的模糊核（blur kernels）来缓解混叠，例如Zhang提出的BlurPooling和Zou等人提出的自适应模糊池化。然而，这些方法存在两方面不足：其一，受限于理论采样限制和实际滤波器尺寸，它们无法完全消除混叠；其二，它们未关注下采样过程中其他类型的频谱泄漏伪影（spectral leakage artifacts），特别是sinc插值伪影（sinc interpolation artifacts），后者在空间域表现为振铃效应（ringing artifacts）。

基于上述问题，研究人员开展了本项研究，旨在提出一种能够从根本上解决下采样中混叠问题并进一步消除sinc插值伪影的新方法。

二、研究内容与主要结论

本文是研究人员此前发表于ECCV 2022的论文的整合与重要扩展。原会议论文提出了频域低频截止池化（Frequency Low Cut Pooling，FLC Pooling），一种在频域中实现的无混叠下采样方法，主要关注通过无混叠下采样避免对抗训练中的灾难性过拟合（catastrophic overfitting）。本文在此基础上进行了深入研究，分析了频域下采样后CNN特征图的特性，并提出了进一步改进的方法——无混叠且无Sinc伪影池化（Aliasing and Sinc Artifact-free Pooling，ASAP）。

研究人员在ImageNet-1k、ImageNet-C和CIFAR数据集上，对多种CNN架构（包括ResNet系列、Wide-ResNet和MobileNet-v2等）进行了系统实验评估。实验结果表明：使用FLC Pooling和ASAP作为下采样方法的网络能够学习到更稳定的特征，在常见损坏和对抗攻击下的鲁棒性显著提升，同时保持与基线模型相当的干净精度。此外，将FLC Pooling和ASAP与简单的FGSM和PGD对抗训练相结合，模型能够有效避免灾难性过拟合，在干净精度和鲁棒精度方面均取得良好表现。

该论文发表于《INTERNATIONAL JOURNAL OF COMPUTER VISION》，其重要意义在于：首次从信号处理理论层面系统分析了CNN下采样中的混叠问题，提出了完全无混叠的频域下采样方案，并进一步解决了此前被忽视的sinc插值伪影问题，为CNN的鲁棒性提升提供了新的理论视角和实用工具。

三、关键技术方法概述

研究人员主要采用了以下关键技术方法：（1）频域下采样：利用离散傅里叶变换（Discrete Fourier Transform，DFT）将特征图变换至频域，通过频率低截止（Frequency Low Cut，FLC）操作去除高于奈奎斯特频率的分量，实现完全无混叠的下采样；（2）Hamming窗滤波：在频域中对矩形截止函数施加Hamming窗，以平滑截止边缘，抑制sinc插值引起的振铃伪影；（3）FFT稳定化处理：通过非对称填充（包括小填充ASAP_sp和大填充ASAP_lp）或交替转置启发式方法（ASAP_stbl）来确保频域表示的正确居中，避免偶数尺寸信号导致的频谱偏移问题。实验数据来源包括ImageNet-1k、ImageNet-C和CIFAR-10数据集。

四、研究结果

4.1 伪影可视化分析

研究人员通过空间域和频域两个维度对下采样伪影进行了定性与定量分析。在空间域中，MaxPooling会严重破坏图像的空间结构；步进下采样虽然保留了结构但产生明显的网格状混叠伪影；FLC Pooling能够消除混叠，但暴露出sinc插值伪影，表现为围绕物体边缘的振铃效应；ASAP则同时消除了这两类伪影。在频域中，通过功率谱对比分析，ASAP各变体获得的功率谱与原始图像最为接近。定量分析采用混叠度量（aliasing measure）和KL散度（KL divergence）评估功率谱差异，结果表明FLC Pooling和ASAP各变体是唯一完全无混叠的方法，其中ASAP_lp在保持功率谱方面表现最优。

4.2 无对抗训练条件下的特征稳定性

在ImageNet-1k高分辨率数据集上，研究人员训练了使用不同下采样方法的网络模型。结果显示，ASAP_sp在常见损坏鲁棒性方面优于所有其他方法，包括BlurPooling、ABlurPooling和WaveletPooling等现有抗混叠方法。在对抗攻击方面，使用FLC Pooling和ASAP的网络在FGSM和APGD攻击下均表现出更高的鲁棒性，特别是APGD攻击虽然几乎能完全欺骗基线模型，但无法完全欺骗使用ASAP和FLC Pooling的网络。在CIFAR-10低分辨率数据集上，使用ResNet-18和Wide-ResNet-50-2架构的实验同样验证了FLC Pooling和ASAP在提升特征稳定性方面的优势。

4.3 对抗训练中的表现

研究人员将FLC Pooling和ASAP与FGSM和PGD对抗训练相结合。实验表明，这些无混叠下采样方法能够有效防止FGSM对抗训练中常见的灾难性过拟合现象，模型在干净精度和鲁棒精度方面均取得良好表现，同时避免了使用多步PGD对抗训练带来的高昂计算成本。

4.4 消融研究

研究人员对ASAP的各组成部分进行了消融实验，包括Hamming窗的作用、不同填充策略（小填充ASAP_sp、大填充ASAP_lp）以及FFT稳定化启发式方法（ASAP_stbl）的效果。计算成本评估显示，小填充使计算时间增加约8%，而大填充则增加约5.6倍（基于NVIDIA A100）。

五、讨论与结论

研究人员的讨论部分指出，尽管FLC Pooling能够完全消除混叠伪影，但其隐式应用的矩形函数在频域中的点乘操作对应空间域中的sinc函数循环卷积，这会导致两类问题：一是sinc插值伪影（振铃效应），二是特征图边界处的环绕效应（wrap-around effects）。Hamming窗的引入有效抑制了sinc函数的旁瓣振荡，而填充策略不仅解决了频域表示居中问题，还能通过人工提高信号分辨率来收窄sinc函数，进一步减少伪影。

研究结论表明：FLC Pooling和ASAP作为无需额外超参数的下采样方法，能够完全消除CNN下采样中的混叠伪影，并进一步抑制sinc插值伪影，从而学习到更稳定的特征表示。在ImageNet-1k、ImageNet-C和CIFAR数据集上的大量实验验证了这些方法在提升模型对常见损坏和对抗攻击鲁棒性方面的有效性，同时保持了与基线相当的干净精度。此外，这些方法还能有效防止对抗训练中的灾难性过拟合，为高效对抗训练提供了新的可行方案。