用于图像共享链检测的双域级联分类网络

《Neurocomputing》：Dual-domain cascaded classification network for image sharing chain detection

　　

摘要

随着社交网络的快速发展，图像分享链检测——即重构图像在社交平台上的分享历史——变得尤为重要，尤其在多媒体取证领域。由于跨平台传输的影响，较后使用的平台可能弱化并掩盖先前平台留下的痕迹，使其难以被检测。因此，解耦具有区分性的平台特定痕迹是该检测任务的关键。本文提出了一种在噪声域和空间域中兼具级联分类框架的新方法，用于图像分享链检测。首先，设计了一种边缘敏感裁剪策略，选择包含明显篡改痕迹且伪影最丰富的图像块。进一步地，我们利用3个SRM核从所选图像块中提取噪声特征，抑制其语义内容。然后，采用了一种级联回溯分类结构，其中早期阶段的预测为后续推理提供上下文先验，逐步解耦平台特定痕迹。最后，引入了一种引导门控融合模块，自适应地将先验预测与双域编码特征进行融合，持续纳入历史分享信息。在公开数据集上的实验结果表明，所提方法的有效性优于部分现有最先进方案。

引言

随着互联网应用的快速增长，社交媒体已成为信息交流的主要渠道，深刻重塑了在线互动方式。作为广泛使用的媒体形式，图像面临着日益严重的安全威胁。攻击者可能通过复制-移动[1]、[2]、中值滤波[3]、[4]、图像增强[5]或压缩重采样[6]等手段篡改原始图像，以隐藏或伪造信息，然后将篡改后的图像在多个平台上传播。人工智能（AI）的兴起进一步加剧了这一问题，因为GANs[7]、[8]和扩散模型[9]等生成模型能够快速生成高度逼真的伪造图像，包括深度伪造[10]、[11]。尽管已有大量研究致力于AIGC生成伪造检测[12]、[13]、[14]，但大多数现有方法聚焦于单个样本的法证伪影分析。在现实社交网络场景中，伪造图像在跨平台传播过程中容易遭受各种后处理干扰，这些干扰会破坏法证伪影。因此，图像取证不应局限于简单的真实性验证，还应进一步考虑可疑图像的跨平台传播行为。

为应对这些威胁，数字图像取证需要从简单的真实性验证转向重构图像分享轨迹。如图1所示，由一个用户上传的图像可能会被其他用户在不同社交媒体平台上重复下载和分享，形成跨平台传播链。当图像上传到社交平台时，通常会经历标准化操作，如压缩、缩放和元数据修改，这些操作旨在降低传输和存储成本[15]。尽管这些操作在不同平台之间存在差异，但每个平台都会留下独特的处理痕迹，可作为平台特定指纹。通过分析这些细微痕迹，可以重构传播轨迹并执行图像分享链检测。

然而，该任务仍具有很大挑战性。每次后续上传都会引入新的平台特定处理，而这些处理并非直接作用于原始图像，而是作用于先前平台已经处理过的版本。因此，新操作叠加在前一阶段留下的残留伪影之上，导致累积失真模糊或混合早期痕迹，并模糊平台特定指纹之间的边界。现有取证方法通常依赖单域特征，忽略了分享链中的时间依赖性，难以解纠缠交织的痕迹并准确重构真实的传输路径。因此，核心挑战在于如何从高度退化的证据中有效解耦并识别平台特定指纹。

本文聚焦于图像传播过程中平台独特处理痕迹的解耦，提出了一种双域级联分类网络。核心思想在于不同平台的痕迹在空间域和噪声域中表现出不同的表征：空间域主要反映平台在压缩和缩放过程中引入的结构失真，而噪声域则保留了量化误差和残留噪声等细微但稳定的特征。通过联合建模两个域的特征，网络可以同时捕获结构和统计线索，在空间感知和噪声分布层面形成互补表征。这增强了区分平台差异的能力，并提高了对多次重压缩和跨平台转换的鲁棒性。同时，网络引入了一种级联分类策略，通过逐步推理恢复早期被掩盖的痕迹，从而准确重构跨平台传输链。我们设计了一种引导门控融合模块，利用先验结果引导特征，充分利用分享链序列之间的时序关系。该设计使框架能够保持强大的解耦能力和可追溯鲁棒性。

本工作的主要贡献总结如下：

• •
  我们提出了一种用于图像分享链检测的双域级联分类网络，该网络联合建模空间域结构伪影和噪声域残留痕迹，以解耦平台特定的法证证据。级联推理机制从最近平台到早期平台逐步推断分享链，使重构过程更符合多平台传播的时序特性。
• •
  我们设计了一种引导门控融合模块（G²FM），该模块与常规特征级门控融合不同，明确使用前序级联阶段的预测结果作为引导。G²FM不仅从当前特征表示中学习融合权重，还引入阶段级先验信息，自适应地调节当前法证特征与历史分享线索之间的交互，从而强化连续平台预测之间的依赖建模。
• •
  为强调富含跨平台伪影的区域，我们采用了一种边缘敏感裁剪策略，自适应选择高对比度区域作为模型输入。该策略鼓励模型关注倾向于包含更多判别性平台诱导变化的区域，这有利于在多平台分享链中恢复微弱的痕迹。

本文其余部分组织如下。第2节综述相关工作，第3节详细描述所提方法，第4节展示并讨论实验结果，第5节总结全文并展望未来研究方向。

章节摘要

图像来源检测

在早期研究中，图像取证主要关注识别图像的采集设备、上传平台或编辑历史，以评估其真实性和来源。大多数方法依赖压缩伪影和文件头特征进行低层痕迹分析。Kee等人[16]率先提出基于JPEG文件头特征的图像认证方法，包括量化表、Huffman编码和缩略图，为此奠定了基础。

问题定义

在社交媒体环境中，图像经常经历多轮跨平台传播。图像分享链检测任务的目标是推断给定图像$$最近$$步的分享历史，该图像可能已经在不同网络中经历多次上传和下载。形式化地，分享历史可表示为：$$$$其中$$，$$表示候选社交平台的集合。

在本文中，我们将最大分享链长度限制为三步（即

实验设置

所有实验均在配备NVIDIA V100 GPU的Linux工作站上进行。所使用的深度学习框架为PyTorch，模型采用Adam优化器进行优化，初始学习率为$$，权重衰减为$$，批量大小为32。

我们在两个广泛使用的公开基准数据集R-SMUD和V-SMUD上评估所提方法。两个数据集均模拟图像在三大社交网络平台（Facebook、Flickr和Twitter）之间的分享，构建最大

结论

本研究通过提出一种具有增强特征融合机制的多级分类框架，解决了社交网络多次分享环境下的图像分享链检测问题。我们系统研究了裁剪策略、特征建模和分类器设计。在输入阶段，我们提出了一种边缘敏感裁剪策略，以保留更多判别性痕迹区域，从而提高模型在长分享链下的稳定性。为进一步捕获

CRediT作者贡献声明

牛雅坤：写作——审稿与编辑、方法论、调查研究、经费获取。陈香茹：写作——初稿撰写、验证、方法论、调查研究。

利益冲突声明

作者声明他们不存在已知的可能影响本文所报告工作的竞争性财务利益或个人关系。

致谢

本工作得到国家自然科学基金（项目编号：62202141）和河南省高等学校重点科研项目（项目编号：26A413001）的部分支持。

牛雅坤于2021年获得北京交通大学信息科学研究所博士学位。目前就职于中国开封河南大学计算机与信息工程学院，担任副教授。当前研究方向包括多媒体取证和DeepFake检测。

牛雅坤|陈香茹