
-
生物通官微
陪你抓住生命科技
跳动的脉搏
MFFNet:联合去摩尔纹与超分辨率的跨尺度图像复原框架及其在超高清文本场景的应用
【字体: 大 中 小 】 时间:2025年06月27日 来源:Expert Systems with Applications 7.5
编辑推荐:
针对智能手机拍摄屏幕内容时产生的摩尔纹(Moiré)和低分辨率问题,研究团队提出多尺度特征融合网络(MFFNet),首次实现超高清(UHD)文本图像的去摩尔纹与超分辨率联合处理。通过创新性设计摩尔纹感知-信息补偿模块(MLPM)和多尺度特征融合模块(MFFM),在自建UHDTM数据集(4080×2080像素)上取得SOTA性能,为文档数字化场景提供突破性解决方案。
当白领用手机拍摄电脑屏幕文档时,照片上常会出现令人头疼的波纹状干扰——这就是摩尔纹(Moiré)。这种由屏幕像素与相机传感器网格干涉产生的伪影,不仅影响观感,更会严重干扰OCR文字识别、目标检测等下游任务。尽管现有方法在低分辨率图像去摩尔纹方面取得进展,但面对现代智能手机拍摄的超高清(UHD)文本图像时,仍面临三重困境:低分辨率图像复原时忽视画质提升需求、缺乏针对UHD文本场景的专用方案、处理过程中造成的信息丢失问题长期被忽略。
为解决这些挑战,国内研究人员在《Expert Systems with Applications》发表的研究中,提出革命性的多尺度特征融合网络(MFFNet)。该框架首次将去摩尔纹与超分辨率任务有机结合,通过双网络流协同处理不同尺度特征,创新性地引入摩尔纹感知-信息补偿模块(MLPM)捕获丢失的细节,配合多尺度特征融合模块(MFFM)消除不同尺寸的摩尔纹。研究同时构建了首个超高清文本摩尔纹数据集UHDTM(分辨率达4080×2080),包含4851组数据。实验表明,MFFNet在UHDTM及三个公开数据集上均超越现有方法,为专业场景下的文档数字化提供了标杆解决方案。
关键技术方法
研究采用双网络流架构处理不同分辨率输入:主网络接收1/2下采样图像,辅助网络处理原图。核心创新MLPM模块通过空间注意力机制定位摩尔纹区域,同时从原图提取补偿信息;MFFM模块采用金字塔结构融合多尺度特征。训练使用L1损失、感知损失和对抗损失的组合,在自建UHDTM数据集(4219训练对/432测试对)与FHDMi、LCDMoire等公开数据集上进行验证。
研究结果
Overview
MFFNet创新性地采用渐进式分辨率恢复策略:输入3×H×W图像,输出3×2H×2W。实验证明,处理下采样图像比直接处理高分辨率图像节省37%计算成本,且更易捕获全局摩尔纹模式。
Experiments
在UHDTM测试集上,MFFNet的PSNR达到32.17dB,比次优方法提升1.83dB。可视化结果显示,该方法能有效消除大范围彩色摩尔纹,同时恢复6pt以下小字号文本边缘。消融实验证实MLPM模块使信息保留率提升21%,MFFM模块对复杂摩尔纹的去除准确率提高15%。
Conclusion
该研究填补了UHD文本图像去摩尔纹领域的技术空白,MFFNet的创新架构为计算摄影领域提供了新范式。UHDTM数据集的发布解决了该领域长期缺乏基准数据的问题,其4080×2080分辨率设置更贴合实际办公场景需求。
重要意义
这项研究首次系统解决了UHD文本图像处理中的摩尔纹-低分辨率耦合难题。MLPM模块开创的信息补偿机制为图像复原领域提供了新思路,而MFFM模块的多尺度处理策略对其它伪影去除任务具有普适参考价值。实际应用中,该方法可显著提升移动办公场景的文档拍摄质量,对推动无纸化办公具有重要意义。团队承诺将公开代码和UHDTM数据集,预计将促进该领域的快速发展。
生物通微信公众号
知名企业招聘