
-
生物通官微
陪你抓住生命科技
跳动的脉搏
基于自信息与预测掩模增强的敦煌壁画盲修复网络(SIME-BINet)研究
【字体: 大 中 小 】 时间:2025年07月19日 来源:Engineering Applications of Artificial Intelligence 7.5
编辑推荐:
敦煌壁画作为世界文化遗产面临严重损坏,现有盲修复方法存在特征污染和子网络干扰问题。兰州理工大学团队提出SIME-BINet网络,通过动态优化增强信息范式(EIGM)和信息增强Transformer模块(IETSBlock),在DhMurals1714数据集上实现优于现有方法的效果,为深度学习盲修复提供新范式。
敦煌壁画作为中国古代艺术瑰宝,承载着东西方文明交流的历史记忆。然而历经千年风雨侵蚀和人为破坏,这些珍贵壁画正面临不可逆的损伤。传统手工修复存在二次破坏风险,而数字修复技术虽能避免物理接触,但现有方法面临两大困境:基于损伤边缘扩散的方法难以修复大面积破损,样本匹配方法对复杂构图束手无策。更棘手的是,多数修复算法需要预先提供精确的损伤掩模(Mask),而实际场景中往往难以获取。
兰州理工大学电气工程与信息工程学院的研究团队在《Engineering Applications of Artificial Intelligence》发表的研究中,创新性地提出了自信息与预测掩模增强盲修复网络(Self-information and prediction mask enhanced blind inpainting network, SIME-BINet)。该研究针对当前盲修复方法存在的特征污染(Feature contamination)和子网络干扰(Sub-network interference)两大核心问题,通过重构信息增强范式,在DhMurals1714数据集上实现了突破性进展。研究采用Transformer编码器构建长程依赖关系,设计增强信息生成模块(EIGM)动态优化修复指引,并开发信息增强Transformer块(IETSBlock)约束注意力机制。
关键技术包括:1) 端到端网络架构设计避免多阶段训练误差累积;2) EIGM模块生成包含未损伤区域有效信息的增强特征;3) IETSBlock通过引入增强特征约束多头注意力机制。实验使用包含真实损伤掩模的敦煌壁画数据集,通过定量指标(PSNR、SSIM)和视觉评估验证效果。
研究结果显示:
【总体架构】SIME-BINet将传统分阶段引导范式重构为动态信息增强流程,编码器通过EIGM持续优化增强信息,有效解决软掩模(Soft-mask)导致的特征错位问题。
【数据集】采用多类型损伤模拟数据训练,显著提升模型对真实复杂损伤的泛化能力,相比TransCNN-HAE等模型,颜色伪影减少37.2%。
【消融实验】IETSBlock使特征污染区域PSNR提升2.4dB,证明增强信息对注意力机制的约束有效性。
结论表明,SIME-BINet通过端到端架构设计避免了传统方法中掩模预测网络(MPN)、污染预测网络(CPN)等多子网络串联造成的误差传播,其创新性体现在:首次将动态增强信息引入盲修复任务,为壁画修复提供无需先验掩模的解决方案;IETSBlock模块为Transformer在损伤图像处理中的应用提供新思路。该研究不仅推动文化遗产数字化保护,其信息增强范式对医学影像修复等跨领域应用也具有重要参考价值。
生物通微信公众号
知名企业招聘