渐进式反向注意力网络(PRA-Net):面向图像修复检测与定位的创新方法及其在内容安全中的应用

【字体: 时间:2025年06月10日 来源:Computer Vision and Image Understanding 4.3

编辑推荐:

  针对图像修复技术滥用导致的语义篡改问题,研究人员提出渐进式反向注意力网络(PRA-Net),通过多尺度提取模块(MSEM)增强感受野,结合反向注意力机制逐步优化预测细节,并设计基于dice loss的边缘监督策略。实验表明该网络在图像修复定位(IIL)任务中优于现有方法,为维护数字内容可信度提供关键技术支撑。

  

随着深度学习技术的快速发展,图像修复(Inpainting)技术已从传统的扩散法(Diffusion-based)和块匹配法(Patch-based)发展到基于卷积神经网络(CNN)、生成对抗网络(GAN)和Transformer的智能修复时代。这类技术虽能完美修复图像缺损区域,却也成为恶意篡改图像语义内容的工具——通过移除关键对象制造虚假信息,严重威胁社会公信力。现有图像修复检测方法虽取得进展,但普遍存在高分辨率特征丢失、边界定位模糊和模型过拟合三大痛点,难以精准捕捉修复区域边缘的细微伪影。

针对这一挑战,湖南大学的研究团队在《Computer Vision and Image Understanding》发表论文,提出渐进式反向注意力网络(PRA-Net)。该研究首先构建包含NS、DeepFillV2等五种修复方法的数据集,随后设计多尺度提取模块(MSEM)保持特征分辨率,以HR-Net为骨干网络实现跨尺度特征融合,创新性地引入反向注意力机制逐步细化预测掩膜,并开发基于dice loss的边缘监督策略强化边界检测。实验证明PRA-Net在定位精度和跨数据集泛化性上均超越现有方法。

关键技术包括:1) 采用HR-Net骨干网络维持高分辨率特征;2) 设计多尺度提取模块(MSEM)增强感受野;3) 构建反向注意力解码路径实现渐进式优化;4) 基于MS COCO数据集生成60,000张含五种修复方法的训练样本;5) 应用边缘监督函数提升边界检测敏感度。

Image inpainting works
研究系统回顾了从Bertalmio等提出的流体动力学方法到最新LaMa等深度修复技术的发展历程,指出现有修复检测方法对高分辨率特征和复杂边界的处理缺陷。

Proposed approach
PRA-Net采用编码器-解码器架构,编码端通过密集跨层连接融合多尺度特征,解码端以反向注意力模块逐步修正预测细节。特别设计的边缘监督策略使模型聚焦于修复区域边界,MSEM模块则在不降采样前提下扩展感受野。

Experimental settings
在自建数据集上的测试显示,PRA-Net对DeepFillV2等最新修复方法的检测F1-score达0.92,较IID-Net提升7.3%。消融实验证实MSEM和边缘监督分别贡献12.6%和9.8%的性能增益。

Conclusion
该研究不仅建立了首个包含多代修复方法的标准检测数据集,更通过PRA-Net实现了像素级精确定位。其创新性体现在:1) 首次将反向注意力机制引入修复检测领域;2) 提出的边缘监督策略有效解决边界模糊问题;3) MSEM模块为保持高分辨率特征提供新思路。这项工作为数字内容取证树立了新标杆,对遏制基于图像修复的信息造假具有重要实践价值。

研究团队在CRediT声明中明确标注了贡献分配:Shuai Liu负责论文撰写,Jiyou Chen等参与修改。国家自然科学基金(62372164, 62272160)为本研究提供支持,作者声明无利益冲突。

相关新闻
生物通微信公众号
微信
新浪微博
  • 急聘职位
  • 高薪职位

知名企业招聘

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号