基于深度监督的分层多特征融合方法，用于实现鲁棒的源相机识别

《Signal Processing: Image Communication》：Hierarchical multi-feature fusion with deep supervision for robust source camera identification

　　• 提出了一种具有深度监督的分层多特征融合网络（HMFNet-DS），用于源相机识别。该网络结合了空间域和频率域的特征，以实现协同感知和有效的多级特征融合。引入了一种分层标签引导的深度监督策略，逐步学习品牌级和模型级的相机指纹特征。所提出的方法增强了判别性表示学习，并提高了对复杂成像变化的鲁棒性。在Dresden和Vision数据集上的广泛实验表明，其在相机模型识别方面的性能优于现有技术。

引言
在当代社会，数字图像已成为不可或缺的关键信息载体，在各个领域发挥着重要作用。特别是在司法和法医调查中，作为证据材料的数字图像使用量显著增加。由于数字相机和智能手机的成本降低以及操作简便性，其应用得到了进一步普及。然而，这种快速扩展同时也带来了关于图像真实性和完整性验证的重大挑战。

源相机识别（SCI）是图像取证领域的一项关键技术。传统的SCI方法主要依赖于嵌入图像中的可交换图像文件格式（EXIF）元数据来提取有关捕获设备、拍摄参数和时间戳的信息。然而，随着图像通过社交媒体和在线平台的广泛传播，这些方法显示出明显的局限性：EXIF元数据在图像压缩、裁剪或其他后处理操作过程中经常被删除或修改，使得检索有效的相机相关信息变得困难。为了解决这些挑战，最近的研究越来越多地关注基于图像本身内在特征的SCI技术。如图1所示，这些方法主要利用成像过程中引入的潜在指纹特征，例如硬件配置的差异、图像处理算法的专有实现以及由拍摄环境引起的微妙变化。这些因素可以在最终图像中留下独特且可识别的痕迹。

早期的SCI方法通常依赖于对相机特定特征的建模，并通过测量测试图像与构建模型之间的相关性来识别来源设备。2006年，Lukas等人首次使用传感器模式噪声（SPN）进行SCI研究，并引入了“相机指纹”的概念。SPN源自相机传感器的制造缺陷和硬件差异，形成了每种设备特有的固定噪声模式。这些模式在不同品牌、型号和生产批次之间可能有显著差异，为识别图像的来源相机提供了坚实的基础。值得注意的是，即使在缺少EXIF元数据的情况下，基于SPN的方法仍然有效。除了SPN之外，一些研究还探索了其他物理特征，如镜头径向畸变（由于不同相机模型之间的镜头几何和光学设计差异而产生），从而提供了不同的识别线索。其他方法还利用了颜色滤镜阵列（CFA）模式、传感器去马赛克伪影以及压缩签名等特征。这些物理可解释的特征提高了图像分析结果的透明度和可靠性，这在证据可信度至关重要的法医和法律背景下尤为重要。

与图像内容相比，相机指纹特征通常极其微妙。此外，随着相机制造技术的不断进步，成像过程中引入的与取证相关的痕迹变得越来越难以提取。传统的手动特征提取方法严重依赖于专家知识，这限制了它们全面捕捉所有潜在数据模式的能力。这些方法也缺乏适应性和自主学习能力，在处理复杂和动态变化的场景时效果较差。近年来，随着卷积神经网络（CNN）在图像分类、目标检测和图像超分辨率等计算机视觉任务中的显著成功，越来越多的研究开始探索其在图像取证，特别是源相机识别和相关多媒体安全应用中的潜力。Bondi等人是最早将CNN引入相机取证的研究者之一，成功地将深度学习应用于SCI。与基于手动特征的传统方法相比，基于深度学习的方法显著提高了计算效率，并减少了对大量训练图像的依赖。此外，它们的数据驱动特性使模型能够直接从图像中自动学习判别性特征，从而提高了适应性和泛化能力。然而，这些方法也面临新的挑战。由于模型通常是从单张图像估计相机指纹特征的，图像内容本身可能会严重干扰特征提取过程，最终影响识别准确性。

为了解决图像内容对相机指纹特征提取的干扰，一些研究在网络架构中引入了各种设计策略以提高源相机识别的准确性。一类方法在网络前端添加预处理模块以抑制图像内容的影响。例如，Chen等人引入了中值滤波器，而Tuama等人应用高通滤波器对输入图像进行预处理，从而增强了相机指纹特征的显著性。Bayar等人进一步设计了一个具有特定约束的卷积层，并将其放置在网络前端，以限制模型对图像内容的敏感性。另一类方法采用图像块选择策略，优先选择图像的平坦且具有代表性的区域，减少图像纹理对指纹提取的干扰。此外，一些研究提出了专门的网络架构以更高效地提取特征。例如，Liu等人提出了一个细粒度的多尺度残差预测模块，而在另一项研究中，研究人员基于孪生网络架构引入了对比学习策略，从而有效地从图像中提取出鲁棒的指纹信息。这些方法在品牌级和模型级相机识别任务中表现出色，品牌级识别准确率超过99%。然而，由于同一品牌下的相机模型使用类似的成像硬件和图像处理算法，模型之间的特征差异相对较小。这使得模型级识别更具挑战性，并且仍有很大的改进空间。

尽管现有方法在品牌级和模型级相机识别任务中取得了显著进展，但大多数方法仍存在两个主要限制。首先，它们通常将品牌级和模型级识别视为独立任务，忽略了它们之间的固有层次关系。实际上，品牌-模型结构自然形成了一个层次结构，其中品牌级信息可以为模型级分类提供有价值的上下文线索。然而，当前的方法往往忽略这种关系，而是直接学习模型级特征，这阻碍了识别准确性的进一步提高。其次，大多数现有方法直接从RGB图像中提取相机指纹特征，而没有探索或整合多维信息。为了解决这个问题，Chen等人引入了一种多尺度特征融合策略，结合不同图像尺度的特征以增强网络学习取证线索的能力。最近，Rana等人提出了一种双分支架构，同时利用RGB域和高频域的特征。这种方法捕获了更全面和鲁棒的相机特定信息，在提高源相机识别的准确性和鲁棒性方面表现优异。

因此，我们提出了一种高效的源相机识别网络HMFNet-DS。该网络利用多分支结构从图像中提取相机指纹特征，完全整合了空间域的颜色信息、高频特征以及与图像来源相关的全频域多维特征。在模型训练过程中，引入了多监督机制，使用品牌级信息作为辅助监督信号，从而提高了模型级识别的准确性和鲁棒性。为了验证所提方法的有效性，我们在公开可用的Dresden [17]和Vision [18]数据集上进行了系统的性能评估。实验结果表明，HMFNet-DS在识别准确性方面显著优于当前的最先进方法。总之，本文的主要贡献如下：
- 我们提出了一种基于多特征融合的源相机识别方法HMFNet-DS，该方法充分利用了空间域颜色信息、空间高频分量和全频域特征，提高了模型的识别性能和鲁棒性。
- 我们引入了一种基于相机品牌信息的深度监督训练策略，在网络训练期间使用品牌级标签作为空间域的辅助约束，指导模型学习更具判别性的特征。随后，根据相机模型信息进行细粒度优化。通过这种多级别监督，模型能够学习更精确的相机指纹特征。
- 广泛的实验结果表明，我们的方法在模型级源相机识别任务中达到了最先进的性能。

相关工作
源相机识别作为数字图像取证领域的一个重要研究方向，旨在通过分析嵌入在图像中的相机特定痕迹来追踪图像的来源。现有方法主要依赖于单一类型的特征，如SPN、颜色特征或图像统计特征。SPN被广泛视为相机设备的“指纹”，并已广泛应用于源相机识别任务。

提出的方法
在本节中，我们描述了所提出的方法，该方法将深度监督集成到网络训练过程中。通过提取和融合空间颜色特征、空间高频特征和全频域特征，有效增强了模型捕获相机模型特定特征的能力。我们提供了整个网络架构的详细解释以及每个组件的设计细节。

数据集
所有研究仅涉及两个数据集：Dresden [17]数据集、Vision [18]数据集和Forchheim [28]数据集。Dresden数据集作为数字图像取证领域的权威基准，得到广泛认可，并具有重要的学术和实用价值。该数据集系统地收集了数以万计的高质量图像，这些图像由不同品牌和型号的数码相机和智能手机拍摄，涵盖了各种照明条件和多样的场景内容。

结论
本文提出了HMFNet-DS，这是一种具有深度监督的分层多特征融合网络，用于源相机识别。该方法结合了空间域和频率域的特征，以实现协同感知和多级语义信息的高效融合，并采用了分层标签引导的深度监督机制，使模型能够首先捕获品牌级特征，然后再细化模型特定特征表示，从而显著提高了...