保护数字身份：利用双解码器U-Net语义分割技术进行深度伪造人脸检测 罗德里戈·爱德华多·阿雷瓦洛-安科纳（Rodrigo Eduardo Arevalo-Ancona）， 曼努埃尔·塞迪略-埃尔南德斯（Manuel Cedillo-Hernandez）， 安东尼奥·塞迪略-埃尔南德斯（Antonio Cedillo-Hernandez）， 弗朗西斯科·哈维尔·加西亚-乌加尔德（Francisco Javier Garcia-Ugalde）

《Future Internet》：Protecting Digital Identities: Deepfake Face Detection Using Dual-Decoder U-Net Semantic Segmentation Rodrigo Eduardo Arevalo-Ancona, Manuel Cedillo-Hernandez, Antonio Cedillo-Hernandez and Francisco Javier Garcia-Ugalde

　　摘要：深度伪造内容的伪造损害了数字介质的完整性和个人身份的保护，因此对其检测至关重要，以维护信任并实现有效的法医分析。大多数深度伪造检测方法侧重于全局分类，并给出二元决策结果，这不足以精确定位被操纵的区域。在图像处理失真的情况下，这一限制尤为明显。本文提出了一种双解码器架构，用于检测和分割真实和深度伪造过的面部特征。与传统的单一解码器分割模型不同，所提出的方法引入了两个解码分支，分别学习真实和伪造面部纹理的互补特征表示。此外，还 incorporated 关注机制模块，根据解码器的上下文来细化编码器特征，在重建过程中实现自适应特征选择。这种架构设计减少了重建过程中的特征干扰，并增强了深度伪造操作引入的微妙不一致性的定位能力。该方法为真实区域和伪造区域生成互补的掩码，提供了更精确的边界划分。实验结果突显了所提方法在图像处理失真情况下的鲁棒性，真实人脸的交并比（IoU）得分为0.9387，深度伪造分割的IoU得分为0.9254。这些结果强调了双解码器架构在准确检测和定位深度伪造面部特征方面的有效性。

1. 引言
通过社交媒体平台传播的被操纵的数字内容，尤其是深度伪造内容，对个人身份和媒体完整性构成了挑战。深度伪造通过添加、替换或移除人物或物体以及操纵面部区域来破坏内容的真实性。这些操纵行为导致了虚假信息、欺诈和恶意图像伪造。因此，需要开发一种准确的检测方法和精确的定位技术，这对于验证真实性和进行可解释的法医分析至关重要[1,2,3,4,5,6]。
检测被操纵的面部内容对于验证真实性、防止伪造图像传播以及通过准确识别真实区域和修改区域来保护个人身份至关重要。在这种情况下，面部是深度伪造操作的主要目标，而细微的操纵特征很难检测出来，尤其是当与常见的图像处理失真（如压缩、缩放、裁剪、噪声和模糊）结合时。深度学习模型能够识别真实面部和被操纵面部之间的特征，在不同的操纵技术下表现出鲁棒的性能；然而，全局二元分类方法缺乏空间分辨率来定位操纵区域，限制了可解释性和法医可靠性[7,8]。
在数字图像中分割深度伪造和真实面部提供了重要的图像伪造检测信息。在这方面，神经网络已经证明能够在存在常见图像失真（如压缩、缩放、噪声或模糊）的情况下准确识别被操纵的面部区域。最近的研究探索了多种神经网络架构来改进深度伪造面部的分割；然而，大多数方法主要关注伪造区域的定位。Chang等人[9]引入了基于VGG16模型的NA-VGG网络，并结合了空间丰富模型（SRM）特征来提取残差噪声，从而能够检测出细微的伪造。Yu等人[10]采用了SegNet架构作为可分离的卷积神经网络（CNN），并结合集成学习进行图像分割。Wang等人[11]提出了一种结合ASPP和Xception模块以及基于DeepLabV3的解码器的面部语义分割方法，通过上下文信息提高了分割准确性。Nirkin等人[12]采用了结合面部分割和上下文识别的双网络方法，增强了检测性能。Abdulla[13]使用DenseNet121进行图像分割，专注于局部特征提取。Wang等人[14]提出了一种两阶段方法，使用残差空间图和基于空间注意力的加权融合策略。Sekar等人[15]结合了Gabor滤波器、ResNet-50和注意力机制进行特征提取。Jagam等人[16]专注于从具有八层的CNN中快速训练，以检测深度伪造。Kurniawan[17]使用YOLOv11进行实时深度伪造检测。此外，Alsolai等人[18]结合了视觉变换器和基于长短期记忆（LSTM）及注意力机制的时间建模来改进视频序列中的检测。Gupta等人[19]提出了一个结合注意力增强卷积网络和量子组件的框架，以改进特征表示和模型效率。他们的方法强调了关注面部区域操纵和提高跨数据集泛化能力的重要性。

大多数深度伪造检测研究方法实现二元分类，确定图像或视频是真实的还是伪造的。为了解决这些限制，我们提出了一种双解码器神经网络架构，在统一架构内分离真实和被操纵面部区域的特征表示。一个解码器侧重于在像素级别定位伪造区域，而另一个解码器则专注于分割真实面部区域。两个分支都处理来自两个类别的特征，网络减少了真实特征和被操纵特征之间的干扰。此外，还 incorporating 了注意力模块，根据解码器的上下文选择性地细化编码器特征，以提高边界精度和检测深度伪造伪迹的准确性。该方法为真实区域和被操纵区域生成互补的掩码，提供了更精确的边界划分，有助于改进法医分析和自动化验证任务，并在具有挑战性的图像条件下保持鲁棒性。主要贡献包括以下几点：
- 双解码器架构通过分离特定特征，增强了被操纵区域的定位能力，提高了对常见图像失真的鲁棒性，包括压缩、缩放、裁剪、噪声和模糊。
- 所提出的架构生成了互补的掩码，提高了可解释性，并提供了真实和伪造面部区域的像素级定位。
- 双解码器架构利用注意力机制通过检测常规单一解码器分割模型和全局分类器常常无法捕捉的细微操纵来提高边界精度。
- 统一分割框架实现了多任务学习，同时保持了真实区域和被操纵区域的高准确性。
- 双解码器的输出提供了结构化的掩码，支持后续的法医应用，包括自动化验证、伪造定位和置信度估计。

下一节将回顾相关工作，为所提出的方法提供背景，并介绍现有的检测和分割真实和深度伪造面部的方法。

2. 材料与方法
2.1. 材料
采用OpenForensics数据集[20]进行训练和验证，该数据集包含41,194张图像，其中20%用于验证。OpenForensics数据集包括真实和被操纵面部区域的标签。数据集由两个子集组成：一个包含未失真图像的训练集，以及一个包含受各种数字失真影响的图像的测试挑战集，如噪声添加、过滤、亮度变化、灰度转换和裁剪。此外，所提出的神经网络使用测试集中的6028张未失真图像和测试挑战集中的6670张失真图像进行了评估。
算法使用Python 3.11.5和PyTorch 2.1.0+cu118框架实现，并在NVIDIA GTX 4050 GPU和运行Windows 11的Intel Core i7-155H处理器（4.8 GHz）上执行。这种配置确保了模型训练和评估期间的高效处理。

2.2. 提出的用于真实和被操纵深度伪造面部分割的双解码器
所提出的神经网络学习辨别性视觉模式，以准确检测和分割伪造区域，从而能够明确地定位真实和被操纵面部中的感兴趣区域。这与大多数仅限于图像级分类的传统方法相比，增强了图像分析能力。
设计的架构提高了对常见图像处理失真的分割鲁棒性。所提方法的整体架构如图1所示。图1. 双解码器神经网络。所提出的架构采用双解码器结构来分割真实和被操纵的面部区域[21]。每个分支学习互补的特征表示，以捕捉一致的面部模式和操纵引入的细微不一致性。
一个分支专注于建模真实面部的结构和纹理，如平滑的边界和自然的外观。同时，第二个分支检测异常模式，例如在面部操纵过程中引入的不一致性。这种互补学习策略提高了分割性能。每个分支的学习基于OpenForensics数据集提供的像素注释，其中包括真实和被操纵面部区域的标签。
这种策略在部分操纵、边界重叠以及靠近头发、配饰和遮挡物的模糊区域等具有挑战性的场景中提高了分割性能和鲁棒性。
此外，还在编码器中加入了残差块以促进特征传播并稳定训练，而在解码器中引入了注意力机制以在上采样阶段细化特征选择。这些机制强调了相关空间区域，提高了分割精度。神经网络的详细配置见表1。表1. 所提出的U-Net的双解码器层配置。神经网络使用输入图像及其对应掩码的对进行训练，其中 和 包含神经网络学习的真实和被操纵区域。每个像素位置 编码所属类别。给定一个输入图像，所提出的模型学习以下映射（1）：
（1）
其中神经网络同时预测两个分割掩码，表示如下（2）：
（2）
其中 表示真实区域的预测掩码，而 表示被操纵区域的预测掩码。这种互补表示模型捕捉面部一致性，另一种表示强调异常模式的检测。
编码器使用残差块（Resblock，图2），通过缓解梯度消失问题并改善特征传播来促进层次特征的学习[22,23]。残差块包含一个1 × 1的卷积核的短路连接，以匹配输入和输出特征图的大小。此外，还使用了两个3 × 3的CNN，每个块使用步长1和填充1来保持特征图。应用批量归一化来稳定神经网络的训练，然后是ReLU激活函数。图2. 残差块示意图。残差块的操作可以表示如下（3）：
（3）
其中 表示输入特征图， 表示卷积层学习的残差特征图。
因此，每个解码器都以一个转置卷积层（TCNN）开始，以增加特征图的分辨率。转置卷积产生上采样特征图。这个操作可以解释为一种细化面部特征区域识别的上采样过程。转置卷积可以正式表示如下（4）：
（4）
其中 表示与转置卷积相关的核， 表示由短路块中的卷积引起的线性投影。
因此，每个解码器都以一个转置卷积层（TCNN）开始，以增加特征图的分辨率。转置卷积产生上采样特征图。这个操作可以解释为一种细化面部特征区域识别的上采样过程。转置卷积可以正式表示如下（4）：
（4）
其中 表示与转置卷积相关的核， 表示由转置卷积操作引起的线性投影。
接下来，引入了UpConv块，它们使用注意力机制来细化预测掩码的特征信息（图3）。图3。（a）UpConv块，（b）注意力机制。UpConv操作可以表示如下（5）：
（5）
其中Xe表示来自编码器跳过连接的上采样层的输入特征图，Xd是TCNN的输出，Xat是注意力机制的输出。
注意力机制对深度伪造检测非常相关，其中伪造非常微妙。传统的跳过连接会无差别地传播编码器特征，引入噪声。相比之下，注意力模块实现了自适应特征选择，优先检测使用标准编码器-解码器架构难以识别的图像操纵的边界。首先，两个特征图 和 都通过δ进行变换，该变换由1 × 1卷积组成，将它们投影到一个共同的特征空间中。这可以表示如下（6）：
（6）
随后，通过以下Sigmoid激活生成标量注意力系数图（7）：
（7）
其中 表示层操作。最后，注意力图通过以下方式调节编码器特征（8）：
（8）
结果特征图在与解码器融合之前抑制特征。双解码器实现了特征解耦。每个解码器使用编码器表示（9）和（10）生成预测掩码（9）和（10）：
（9）
（10）
这种设计侧重于每个解码器分支学习互补的表示。具体来说，一个分支专注于建模与真实面部相关的自然纹理和结构一致性，而另一个分支强调图像不一致性和来自被操纵区域的局部失真。通过分离这些目标，所提出的架构减少了类别之间的特征干扰，提高了面部操纵的定位精度，而这些操纵使用传统的单解码器架构难以捕捉。在这一点上，单解码器架构在图像分割任务中表现出很强的性能，特别是在识别被操纵图像中的感兴趣区域方面[24,25]。然而，传统设计在分割具有相似视觉模式的类别（如真人和深度伪造面部）时可能存在一些局限性。为了克服这一局限性，采用了双解码器架构来学习独立特征并避免类别间的干扰[26,27,28,29]，从而提高了真人和深度伪造面部分割的精度。为了优化网络训练，使用了一套超参数和训练策略，如表2所示。表2. 训练超参数。所提出的损失函数旨在分割微妙的、原始的和深度伪造的操纵类别，其中准确性和边界精度至关重要。所采用的复合损失结合了二元交叉熵（BCE）、Dice损失和交并比（IoU）损失以及边界一致性项，以优化像素分类、区域重叠和边界定位。BCE损失确保了被操纵区域和真实区域之间的稳定像素分类，可以表示为（11）：（11）其中 是真实标签， 是预测掩码，N代表图像中的总像素数。项?digit表示学习率的调度和正则化系数。这两个参数每30个周期定期调整一次，以提高训练稳定性和特征区分度。具体来说，学习率更新以细化优化过程，而正则化系数逐渐减小作为一种优化学习策略。选择30个周期的更新间隔是为了平衡训练稳定性和适应性，为模型提供足够的时间来学习最重要的模式，然后再进行进一步的调整。学习率每30个周期衰减0.005倍。这种策略稳定了梯度更新，并在局部水平上提高了被操纵区域和真实区域之间的区分度。Dice损失（）评估了预测掩码和真实掩码之间的重叠程度，其定义如下（12）：（12）这一项有效解决了类别不平衡问题，并提高了微妙操纵区域的分割精度。IoU损失（）测量了预测掩码和真实掩码的交集（∩）与并集（∪）之间的比率，其表示如下（13）：（13）其中 直接惩罚了相对于总并集的重叠比例，使其成为对象分割的常用指标。为了增强边界定位，引入了 基于空间梯度的一致性项，可以表示如下（14）：（14）这一项通过将来自图像梯度的边缘信息纳入学习过程，增强了真实区域和被操纵区域之间的边界划分。由于图像梯度捕捉到与结构转换相对应的强度变化，它们能够更准确地提取边缘信息，从而精确分割这两个类别，尤其是在区域边界附近。因此，它改善了收敛行为，并加强了深度伪造伪造物定位中的结构转换。边界损失作为整体损失函数的附加组件被纳入。总损失表示为（15），其中损失函数包括边界一致性项。这个损失函数减少了特征干扰，并提高了微妙深度伪造操纵的定位精度，表示如下：（15）其中每个分支的损失定义为（16），每个解码器分别进行优化。（16）为了确保稳定的收敛，所有权重在初始训练（100个周期）期间被设置为1（）。然而，微调阶段改进了IoU指标，因此权重被调整为。通过消融研究进一步验证了这些值的选择和影响。所提出的方法结合了双解码器架构和复合损失函数，以实现真实和被操纵面部区域的准确和稳健分割。损失函数优化了像素分割精度、区域重叠和边界一致性，以捕捉微妙的深度伪造伪造物。3. 结果通过一系列实验评估了所提出的双解码器架构的有效性，以验证其对真实和深度伪造面部操纵的分割能力。实验评估了在标准条件下的鲁棒性以及该方法对抗常见图像处理失真的鲁棒性，包括JPEG压缩、缩放、裁剪、噪声添加和模糊。结果表明，所提出的神经网络能够在具有挑战性的条件下识别出被操纵的区域。3.1. 在图像失真下的定量性能评估所提出的分割方法使用平均Dice得分、平均交并比（IoU）、准确率、平均F1得分和ROC曲线下面积（AUC）进行评估，提供了对像素级分类、区域重叠和区分能力的全面评估。Dice得分测量了预测掩码和真实掩码之间的重叠程度，其定义如下（17）：（17）其中Tp代表正确分类的真阳性像素；Fp代表错误分类的假阳性像素；Tn代表未被操纵且正确识别为未操纵的假阴性像素；最后，Fn代表属于某个类别但被预测遗漏的像素。IoU评估了预测掩码和真实掩码之间重叠区域的比率，并指示了分割精度（18）。（18）此外，还计算了准确率、F1得分和AUC。F1得分反映了精确度和召回率之间的平衡。准确率评估了整体像素分类，AUC衡量了真实区域和被操纵区域之间的区分度。表3展示了所提出的双解码器神经网络在各种图像失真下对真实和深度伪造面部区域分割的鲁棒性。F1得分被用作分割平衡的关键指标，因为它捕捉了精确度和召回率之间的关系。表3. 所提出的双解码器神经网络在真实和深度伪造面部分割方面的性能。为了评估所提出方法的鲁棒性，进行了受控失真实验。每种失真类型独立应用于同一组测试图像，以确保跨条件的公平比较。在随机失真的情况下，转换遵循OpenForensics数据集基准测试挑战中的协议进行，其中失真是随机分配的。这种设置保持了与原始评估框架的一致性。表3展示了所提出方法在常见图像处理失真下的鲁棒性。结果表明，该模型在真实和深度伪造区域之间的分割性能是一致的。在具有不同质量因子QF（QF = 70和QF = 30）的JPEG压缩下，性能仍然稳定。在高斯噪声（）下，Dice得分降低。这种行为表明，被操纵的特征对影响边界一致性的失真更加敏感。同样，椒盐噪声（）引入了明显的退化，尽管模型保持了稳定的性能。相比之下，该方法对图像模糊（核）和伽马校正显示出很高的鲁棒性。此外，准确率和AUC值保持一致（分别高于0.98和约0.94），证明了模型在不同条件下的鲁棒性。这些结果表明，所提出的架构有效学习了稳健且互补的特征表示，从而准确定位了被操纵的区域，并在不同图像失真下保持了稳定的性能。此外，图4显示了真实和深度伪造面部分割的IoU得分分布。图4. 真实面部和深度伪造分割的IoU得分分布。图4展示了预测分割掩码的IoU值分布。结果表明，尤其是对于深度伪造区域，方差较低，表明分割性能稳定且一致。相比之下，真实面部分割的变异性略高，最小IoU值较低（约为0.90），这可能归因于真实面部纹理的复杂性和变异性的更大。3.2. 深度伪造分割的定性评估表4展示了真实掩码与所提出架构生成的预测结果之间的视觉比较。结果显示，即使在细微操纵下，每个解码器分支也能有效识别相应类别的模式。表4. 定性比较。表4展示了在无失真条件下所提出模型的分割性能的定性结果。真实掩码和预测掩码之间的比较显示出高度相似性。此外，结果还展示了准确的边界检测，误分类最少。总体而言，表5表明所提出的双解码器架构在标准条件下实现了精确的分割，与定量结果一致。表5. 所提出方法的跨数据集验证。3.3. 跨数据集验证为了评估所提出方法的泛化能力，进行了额外的实验，通过在未进行任何微调的情况下在不同的数据集上验证训练好的神经网络来进行评估。具体来说，使用FaceForensics++数据集来评估训练模型的跨数据集条件下的性能。所有评估都是使用没有额外失真的图像进行的。正如预期的那样，当在FaceForensics++数据集上评估模型时，性能有所下降。这可以归因于模型是在OpenForensics数据集上训练的，该数据集包含更明显的伪造物和真实及被操纵面部区域的精确注释，有利于学习空间模式。相比之下，FaceForensics++包含了更多微妙的操纵，并关注视频面部修改，如表情变化和身份改变。这些数据分布的差异影响了神经网络的泛化性能。尽管如此，所提出的方法仍然保持了竞争力，表明学习到的潜在表示捕捉了不依赖于特定数据集的特征。3.4. 神经网络架构的比较通过分析其分割精度，将所提出的方法与其他神经网络架构进行了比较。图5展示了准确性比较，而图6显示了每个模型的相应推理时间。图5. 神经网络性能比较。图6. 推理处理时间。图5的结果表明，所提出的双解码器神经网络在分割精度方面优于评估的架构。这种改进可以归因于真实区域和深度伪造区域的分离，确保它学习了专门的模式来区分特征表示。相比之下，传统架构侧重于单层解码，这混合了特征表示，导致被操纵区域的定位不那么准确。此外，还评估了所提出架构的计算效率。如图6所示，与其它神经网络相比，所提出的模型实现了更低的推理时间。这种计算效率是通过双解码器架构的编码器特征共享设计实现的，这使得有效特征重用成为可能，同时避免了不必要的计算开销。3.5. 与最新方法的比较通过使用各自作者提供的性能指标，将所提出的方法与其他方法进行了比较。表6中的结果表明，所提出的方法实现了高鲁棒性和效率，优于或匹配了几种现有方法。这些结果强调了其在精确、定位被操纵面部区域分割方面的有效性。表6. 所提出方法和现有方法的比较分析。许多现有方法专注于二元深度伪造检测，没有提供空间定位，或者仅限于检测深度伪造，而没有识别被操纵的区域。相比之下，所提出的方法对真实和被操纵的面部区域进行了像素分割，明确区分了这两个类别。这提供了面部内容的视觉分析，并改进了对微妙深度伪造的识别。模型必须同时分割真实区域和被操纵区域，引入了更复杂的特征学习。如果该方法仅限于深度伪造分割，通过专注于被操纵区域的特征，可以实现更高的性能。然而，当在FaceForensics数据集上评估模型时，观察到性能下降，准确率和AUC分别降到了96%和81%。这种下降可以归因于数据集的性质，它由视频序列组成。所提出的方法关注的是图像，它不能正确识别连续帧上的模型时间特征。3.6. 消融研究为了分析所提出架构的贡献，本节评估了损失函数组件和网络结构的影响。首先，通过移除复合损失函数中的各个组成部分，来评估它们对分割准确性的影响，以便分析各自的作用。表7展示了所提出的损失函数中每个组成部分对深度伪造图像分割效果的影响。移除BCE项会导致性能显著下降，这突显了它在分割过程中稳定像素级分类方面的重要性。排除IoU项会减少预测掩码与真实掩码之间的重叠精度。此外，移除Dice项会增加不平衡类别中的错误，从而对小范围或细微区域的分割产生负面影响。最后，消除边界项会导致边缘检测出现错误，因为该部件有助于生成被操纵面部区域的精确定位。总体而言，这项分析表明每个组成部分都提高了所提出模型的深度伪造图像分割性能。

此外，通过将所提出的模型与不同的架构配置进行比较，进一步分析了其架构设计：标准U-Net架构、双解码器网络以及带有注意力模块的双解码器架构。这种比较突出了注意力机制在增强特征表示和提升分割定位准确性方面的作用。表8比较了不同神经网络架构的性能。U-Net模型在多任务分割方面表现最差。另一方面，双解码器架构通过分离真实区域和深度伪造区域的特征学习，使每个分支能够专业化，从而提高了整体分割准确性。而且，带有注意力机制的双解码器架构由于能够关注相关模式而实现了最佳的分割准确性，这使得模型能够检测到细微的模式并提升深度伪造图像的分割性能。

表9展示了对损失函数增益参数进行的消融研究。基线配置将所有增益设置为1（1,1,1,1），因此微调可以调整这一组分的贡献。这种配置虽然提供了平衡的参考，但并不适合高效的边界分割。平衡配置会降低IoU性能，尤其是在深度伪造区域，表明这些组分会影响空间定位。相比之下，所提出的配置实现了最佳的总体性能，在深度伪造和真实区域的IoU以及AUC得分上都有显著提升。这些结果表明，增加与结构一致性和边界信息相关的组分的贡献能够生成被操纵区域和真实区域的准确分割。消融研究证实，当从初始的相等设置中微调增益参数时，可以获得最佳性能，从而在检测灵敏度和分割精确度之间实现更有效的平衡。

图5显示，所提出的双分支架构比其他神经网络架构具有更高的准确性。这种改进归因于双解码器设计，它能够从真实和深度伪造面部区域中学习特定的模式。相比之下，预训练的神经网络由于仅对部分层进行微调，因此准确率较低，限制了特征学习。所提出的架构采用端到端训练方式，从而获得了更稳定和更具区分性的特征表示，实现了更准确的分割。表3证明了所提出架构在识别面部区域模式方面的鲁棒性，即使在图像失真的情况下也能有效区分真实和深度伪造面孔。每个解码器分支专门用于建模与其对应类别相关的特征，提高了分割过程的鲁棒性。在FaceForensics数据集上进行的额外实验发现，处理视频序列时性能会下降，这表明该模型专为基于图像的分析而设计，并没有明确捕捉帧间的时间依赖性。消融研究显示了损失函数中各元素对神经网络性能的贡献，移除这些元素可能会导致分割准确性下降。此外，架构比较表明，引入注意力机制可以增强深度伪造图像分割的特征表示。这些发现表明，结合时间建模策略（如循环网络或时间模块）可以在使用基于视频的数据集时提升性能。此外，还可以探索特定任务的架构，以优化深度伪造图像分割或基于视频的分析等场景的性能。直接在FaceForensics++数据上训练模型也有助于提高其在这些条件下的泛化能力。

本文提出了一种用于区分真实和深度伪造面部区域的双解码器神经网络架构。该方法通过为伪造面孔和真实面孔生成互补的掩码，实现了对操纵区域的精确定位，相比传统的分类方法提高了可解释性。结果证明了所提出的神经网络架构在区分真实和深度伪造面部区域方面的有效性。该模型对深度伪造生成过程中常见的图像处理失真具有很高的鲁棒性。这项工作的主要贡献在于结合了带有注意力机制的双解码器结构，这增强了特征表示并减少了重建过程中的类别间干扰。此外，该方案在面对图像处理失真（包括JPEG压缩、高斯噪声、椒盐噪声、模糊、光照变化、直方图均衡化和随机扰动）时仍能保持稳定的性能。这种鲁棒性得益于双解码器设计，其中每个分支学习不同的特征。所提架构的另一个优势在于它能够独立分割真实区域和被操纵区域，从而实现详细的图像分析和深度伪造伪迹的精确定位。

作为未来的工作，建议将时间建模集成到架构中，以扩展其对视频序列的处理能力，提高跨帧的操纵区域检测效果。此外，在时间域中结合注意力机制可以进一步增强动态场景中细微模式的识别能力。此外，还将进行人口统计分析，以研究不同因素和面部属性对模型性能的影响，因为这些变化可能会影响操纵模式和检测行为。