
-
生物通官微
陪你抓住生命科技
跳动的脉搏
基于端到端深度引导学习的全聚焦铁谱图像重建方法研究
【字体: 大 中 小 】 时间:2025年06月16日 来源:Optics and Lasers in Engineering 3.5
编辑推荐:
针对光学显微镜有限景深(DoF)导致的铁谱图像中磨损颗粒(Wear Particles)离焦问题,研究人员提出无监督多焦点图像融合模型WearIF。该模型通过多尺度密集聚焦特征提取网络(MDFFEN)和卷积引导滤波网络生成高分辨率聚焦权重图,结合YCbCr色彩空间加权融合策略,实现了三维颗粒形态的精准重建。实验表明其优于现有深度学习方法,为设备磨损监测提供了可靠分析基础。
在工业设备健康监测领域,铁谱分析技术通过显微镜观察润滑油中的磨损颗粒形态来诊断设备磨损状态。然而,光学显微镜有限的景深(Depth of Field, DoF)导致厚度不一的颗粒无法在同一图像中清晰成像——较厚的颗粒可能在某一焦平面清晰,而其他区域则呈现模糊状态。这种离焦现象可能造成球形颗粒被误判为氧化物颗粒等严重误诊。传统单图像复原方法如Laplace算子边缘增强或CNN退化模型虽有一定效果,但忽略了颗粒的三维形态特征。
为解决这一难题,研究人员开发了自动铁谱图像采集平台,并提出新型端到端无监督多焦点图像融合模型WearIF。该模型可直接整合显微镜平台垂直移动捕获的图像序列,通过深度学习技术重建全聚焦图像。研究成果发表于《Optics and Lasers in Engineering》,为工业设备磨损监测提供了更精准的分析工具。
关键技术方法包括:1) 构建包含不同厚度磨损颗粒的铁谱图像序列数据集;2) 设计多尺度密集聚焦特征提取网络(MDFFEN)获取低分辨率聚焦权重图;3) 采用卷积引导滤波网络进行权重图超分辨率重建;4) 基于YCbCr色彩空间的加权融合策略,其中亮度通道通过模型融合,色度通道采用L1
范数加权平均。
End-to-end unsupervised multi-focus ferrograph image fusion network
模型架构包含双线性下采样器、MDFFEN、卷积引导滤波网络和加权融合模块。首先将高分辨率输入序列Xh
下采样为低分辨率序列Xl
,经MDFFEN提取低分辨率聚焦权重图Al
,再通过Xh
引导的滤波网络生成高分辨率权重图,最终加权融合输出全聚焦图像。
Weighted Fusion Strategy
采用YCbCr色彩空间融合策略:亮度分量由WearIF模型融合,色度分量Cb
/Cr
通过L1
范数加权平均融合,权重计算为wx
(Cxk
)=∥Cxk
-τ∥1
,既符合人眼视觉特性又保持色彩一致性。
Comparison of different guided filter network structures
实验对比了三种引导滤波变体:1) 双线性上采样;2) 输入图像引导;3) 传统引导滤波。结果表明卷积引导滤波网络能最优保持颗粒边缘细节,PSNR指标提升15.6%。
Comparison with Other multi-focus image fusion algorithms
与SESF-Fuse、DRPL等5种深度学习方法对比显示,WearIF在铁谱图像特有的分散离焦区域处理上优势显著,结构相似性(SSIM)指标提高12.3%,且支持任意数量图像的直接融合,避免串行融合导致的三维信息损失。
Conclusion
该研究提出的WearIF模型通过MDFFEN和卷积引导滤波网络的协同作用,首次实现了铁谱图像序列的端到端无监督融合。联合内容-梯度损失函数有效平衡了纹理细节与结构完整性,其重建的球形颗粒边缘锐度比传统方法提升37.5%。该技术为航空航天、矿山机械等领域的精密磨损诊断提供了新范式,未来可扩展至其他显微三维成像场景。
研究由Xinliang Liu、Jingqiu Wang和Xiaolei Wang合作完成,所有作者声明无利益冲突。模型代码和数据集已开源,推动该领域研究方法标准化。
生物通微信公众号
知名企业招聘