基于多尺度注意力与孪生网络的多焦点图像融合方法研究

为解决多焦点图像融合(MFIF)中特征提取不充分、融合效果不佳的问题，研究人员提出了一种结合多尺度注意力机制和孪生网络结构的深度学习方法。该方法通过局部深度特征提取模块(DFEB)和扩张卷积注意力模块(DCA)显著提升了图像细节保留能力，实验证明其在主观视觉效果和客观评价指标上均优于现有方法，为医学影像和图像修复领域提供了新思路。

　　

在光学成像领域，由于相机景深(DOF)的物理限制，单次拍摄难以获得全场景清晰图像——前景对焦时背景模糊，反之亦然。这一"鱼与熊掌不可兼得"的困境严重制约了医学显微观察、工业检测等需要高精度全焦面图像的场景。传统解决方案如空间域加权平均法易产生伪影，变换域方法又面临计算复杂度高的瓶颈，而早期深度学习方法则受限于特征表达能力不足导致的边缘失真问题。

针对这些技术痛点，研究人员创新性地将计算机视觉领域的注意力机制与孪生网络架构引入多焦点图像融合(Multi-focus Image Fusion, MFIF)领域。研究团队构建了包含局部注意力模块(LAM)和深度特征提取模块(DFEB)的孪生网络，通过参数共享机制有效提升了特征提取效率；独创的多尺度扩张卷积注意力(Dilated Convolutional Attention, DCA)模块能动态调整感受野，像"智能变焦镜头"般捕捉不同尺度的特征信息。实验采用Pascal VOC2012数据集构建的2900组训练样本，通过二值分割和小区域滤波技术确保融合一致性。

关键技术方法包括：1) 采用Siamese网络架构共享深层特征参数；2) 设计DFEB模块进行层级特征提取；3) 引入DCA模块实现多尺度特征融合；4) 应用GenClean Block(GCB)进行图像去噪预处理。

研究结果显示：

1. 网络架构：双分支Siamese结构较传统单分支网络减少30%参数量，在Lytro数据集测试中特征提取速度提升2.4倍；
2. 特征提取：DFEB模块通过残差连接使梯度消失问题降低67%，在主观评价指标SSIM上达到0.921；
3. 多尺度融合：DCA模块的扩张卷积(dilation rate=2,4,8)使边界识别准确率提高18.7%；
4. 综合性能：在Q^CV、VIF等6项客观指标上平均超越对比方法23.6%，尤其在医学显微图像中组织边缘清晰度提升显著。

该研究突破了传统MFIF方法在特征表达和计算效率上的双重局限，其创新性主要体现在：1) 首次将注意力机制与Siamese网络结合应用于MFIF任务；2) 通过DCA模块实现多尺度特征的自适应聚合；3) 构建的轻量化网络在保持精度的同时大幅降低计算开销。论文成果发表于《Digital Signal Processing》，为内窥镜成像、病理切片数字化等医学应用提供了新的技术路径，未来可扩展至三维显微图像融合领域。