LET-CViT：一种适用于弱光环境的双流卷积神经网络（CNN）与视觉变换器组合模型，用于深度伪造检测

《Image and Vision Computing》：LET-CViT: A low-light enhanced two-stream CNN and vision transformer for Deepfake detection

伪造人脸在低光环境中的检测面临噪声与特征重叠的挑战，本文提出LET-CViT框架，通过LED模块增强低光图像并保留伪造痕迹，结合WTF模块利用小波变换融合高频特征，并引入RC-DSC卷积和DSG-MHA注意力机制提升检测性能。实验在DeeperForensics-1.0和DFD数据集上AUC达95.73%和95.24%，显著优于现有方法。

　　随着生成技术的迅速发展，伪造的面孔变得越来越逼真。这种技术的普及使得伪造的图像和视频不仅难以被肉眼识别，也给社会信任和安全带来了潜在威胁。尤其是在低光照环境中，由于光照条件不佳，伪造的面孔往往更加难以被察觉，这对现有的伪造检测技术提出了新的挑战。目前，大多数伪造检测模型在标准光照条件下表现良好，但在低光照场景下，其检测性能明显下降。因此，如何在低光照环境下有效识别伪造面孔，成为当前研究中的一个重要课题。

本文提出了一种名为Low-light Enhanced Two-stream CNN and Vision Transformer（LET-CViT）的新框架，旨在解决低光照条件下伪造面孔检测的问题。该框架结合了改进的ReLUCBAM深度可分离卷积（RC-DSC）模块和动态Sigmoid门控多头注意力（DSG-MHA）模块，并引入了两个创新性的子模块：低光照增强去噪（LED）模块和小波变换高频融合（WTF）模块。这些模块的设计使得LET-CViT在低光照条件下能够更准确地捕捉伪造特征，从而提高检测的可靠性。

在低光照环境中，图像的信噪比（SNR）显著降低，导致随机高斯噪声和低频光照噪声的增加。这种噪声与伪造特征在空间分布上高度重叠，使得模型难以区分由噪声引起的纹理断裂和由伪造引起的纹理异常。此外，低光照环境会压缩真实与伪造特征之间的可区分性空间，传统检测方法依赖于真实与伪造面孔之间的多维差异，但在低光照条件下，这些差异变得不明显，从而导致基于特征的判别逻辑失效。

为了应对这些问题，本文提出的LET-CViT框架通过引入LED模块和WTF模块，对低光照图像进行增强和去噪处理，同时有效提取高频伪造特征。LED模块结合了多尺度Retinex和去噪卷积神经网络（DnCNN）的思想，通过随机增强和去噪技术提升图像质量，并增强伪造痕迹。WTF模块则利用离散小波变换，获取图像的四个不同频率子带，并通过评分机制自适应地丢弃低频子带，融合高频子带以增强频率特征。这些模块的协同作用使得LET-CViT能够在低光照条件下更好地识别伪造面孔。

此外，本文还对ViT架构进行了改进，引入了RC-DSC卷积块以增强模型对低级视觉特征（如颜色和边缘）的提取能力，并在Transformer编码器中改进传统的多头注意力机制，提出了DSG-MHA模块。该模块通过动态门控机制，使模型能够更精准地捕捉伪造痕迹，提高检测的准确性。

在实验部分，本文在多个数据集上进行了广泛的测试，包括DeeperForensics-1.0（DF-1.0）和DFD数据集。实验结果表明，LET-CViT在这些低光照数据集上的AUC（曲线下面积）分别达到了95.73%和95.24%，显著优于其他主流模型。这些结果验证了LET-CViT在低光照环境下的优越检测性能。此外，本文还对模型的效率进行了评估，确保其在实际应用中的可行性。

通过上述设计，LET-CViT不仅能够有效应对低光照环境下的检测挑战，还具备良好的泛化能力，适用于多种复杂场景。该框架的提出为低光照条件下的伪造检测提供了一种新的解决方案，有助于提升检测系统的鲁棒性和实用性。研究团队还承诺在论文发表后，将代码开源至GitHub平台，方便其他研究者进行复现和进一步研究。

总的来说，本文的研究成果对于推动伪造检测技术的发展具有重要意义。它不仅解决了低光照环境下检测性能下降的问题，还为未来的相关研究提供了新的思路和方法。随着深度学习和计算机视觉技术的不断进步，伪造检测将变得更加精确和高效，从而更好地应对日益复杂的伪造技术带来的安全威胁。