基于不确定性感知双通道耦合神经P系统的多焦图像融合方法

《Digital Signal Processing》：Multi-focus image fusion method based on uncertainty-aware dual-channel coupled neural P systems

　　

多焦点图像融合（MFIF）旨在从多张部分清晰的源图像生成一张全聚焦图像，保留每张输入图像中的最优信息。然而，在处理具有复杂纹理和噪声干扰的场景时，现有方法往往在聚焦边界处产生伪影，难以平衡亮度与对比度的一致性。为了解决上述问题，本文提出了一种基于不确定性感知双通道耦合神经P系统（UA-DCNPS）的多焦点图像融合方法。源图像经过静止小波变换（SWT）分解后，得到高频子带和低频子带。对于高频子带，UA-DCNPS对局部清晰度及其不确定性进行建模，通过将硬性决策转化为连续映射生成权重图，从而削弱边界伪影。对于低频子带，设计了一种基于区域能量和结构保持约束的自适应加权策略，以保持融合图像整体亮度和对比度的一致性。实验结果表明，在Lytro、MFFW和MFI-WHU数据集上，所提方法在FMI、SSIM和PSNR三个指标上均优于九种代表性融合方法。与第二好的结果相比，这三个指标的最大提升分别达到1.18%、3.44%和1.26%。消融实验和互补性图形分析进一步验证了不确定性感知机制和所提融合策略的有效性。此外，在TNO数据集上进行的可见光-红外图像融合实验表明，所提方法在跨模态应用中具有潜力。

引言 由于镜头景深和成像硬件的限制，单一场景往往需要在不同焦平面上分别成像，使得单张图像难以同时清晰呈现近处和远处的目标。多焦点图像融合（MFIF）[1], [2]的目标是从多源图像中提取和整合互补的清晰信息，从而合成一张所有区域均清晰可见的融合图像。该方法不仅是扩展数码摄影景深的核心技术[3]，也在更广泛的实际工程应用中发挥着关键作用。近年来，众多面向应用的先前沿研究表明，该技术已成功应用于可见光-红外跨模态目标检测[4]、水射流辅助激光加工[5]以及卫星观测[6]等复杂场景。可见光-红外融合中热目标的提取和可见光纹理的保留，与多焦点融合中的显著清晰度检测具有高度同源性。多焦点融合算法中局部能量测量和决策掩膜生成的机制，可以有效避免复杂应用场景中常见的对比度退化与目标鬼影问题。

多焦点图像融合方法大致可分为三类：基于空间域的融合、基于变换域的融合和基于深度学习（DL）的融合。基于空间域的融合方法[7], [8]使用图像活动水平或清晰度度量作为判别依据，通过像素级、块级或区域级比较生成决策图，并根据决策图融合源图像以生成全聚焦图像[9], [10]。此类方法实现简单、可解释性强，但在复杂纹理和噪声干扰下容易在边界处产生误判。权重图空间连续性的不足还会引入伪影，难以获得准确的融合决策图[11]。变换域方法依赖于多尺度变换来分离低频结构和高频细节，然后在系数域设计融合规则，最后通过逆变换获得融合图像[12], [13], [14]。变换域方法有两个核心要素：分解方法的选择和系数融合规则的设计。这两者的质量直接决定了最终融合图像的质量[15], [16]。现有的融合规则大多基于经验阈值或单一活动度准则，对高频和低频子带之间的相关性缺乏充分建模，可能在复杂场景中引入对比度偏差。基于深度学习的方法主要采用两种途径：端到端方法和学习驱动的决策图方法。端到端方法使用编解码器重建框架，直接学习从多源图像到全聚焦图像的映射[17], [18], [19], [20]。这些方法在公开自然场景数据集上取得了较高的客观指标和主观质量，但模型参数量大，训练和推理成本高，对训练数据分布和成像机制敏感，在资源受限场景下泛化能力较差[21], [22]。因此，大多数深度学习方法更侧重于生成具有精确边界的决策图，然后据此对源图像或其多尺度特征进行加权融合，以提高边缘连续性和跨尺度一致性[23], [24], [25]。该方法在公开自然场景数据集上表现出色，但其鲁棒性高度依赖于训练数据分布。当噪声或纹理频谱与训练域不一致时，决策图容易在散焦过渡区产生伪影。另一方面，由于缺乏针对低频亮度和对比度一致性的显式机制，难以平衡细节和全局对比度[26], [27], [28]。

根据近期关于基于深度学习的多焦点图像融合综述文献[29]，尽管现有模型已取得良好效果，但目前仍无法完全消除图像融合中的散焦弥散效应。现有研究集中于设计更强的特征表示和注意力机制，以增强对散焦过渡区和复杂纹理的描述能力，并提高跨尺度一致性。然而，上述方法难以在模型可解释性和泛化能力之间取得平衡。尤其在面对复杂散焦边界时，缺乏一种基于仿生规则的动态竞争机制来引导精确的融合决策。

膜计算源于细胞膜结构的信息处理和并行化。其规则重写、阈值控制和耦合拓扑具有天然的并行性和局部性，适合处理具有局部竞争特征的信息任务[30], [31]。图像处理领域的研究表明[5], [32]，基于脉冲和阈值机制的耦合神经P系统（CNPS）在保持可解释性的前提下，可以对局部模式进行快速分布式判别，并通过耦合促进邻域一致性，在纹理判别中表现出良好的敏感性和稳定性。然而，现有CNPS在处理模糊区域时仍有限制[33], [34]。首先，CNPS通常使用全局固定的膜电位阈值和发放增益作为参数，难以根据局部清晰度或噪声水平自适应调整。在局部清晰度显著的区域容易产生过响应，而在散焦过渡区或弱纹理区域容易欠响应，影响决策稳定性。其次，它们大多采用确定性的硬二元竞争，缺乏对散焦过渡区和弱纹理区域不确定信息的连续表示，容易产生伪影。

近年来，分形维度作为一种能够精确量化图像局部纹理复杂度和自相似性的数学工具，已广泛应用于多焦点图像融合领域。Panigrahy等[35]提出直接利用分形维度作为对焦度量准则，通过评估不同焦平面上分形特征的差异，实现对焦区域的精确分离。为克服仿生模型中全局固定参数的局限性，Panigrahy等[36]将分形维度与脉冲耦合神经网络（PCNN）深度结合，提出了一种基于分形维度的参数自适应双通道PCNN模型。该方法利用局部纹理的分形维度特征，动态引导PCNN内部发放参数和连接权重的自适应调整，显著增强了模型对复杂纹理的感知敏感性。尽管基于分形维度和自适应PCNN的方法在特征判别方面取得了重要进展，但在面对聚焦目标与背景频域特征高度相似的聚焦边界时，传统的硬决策竞争机制仍容易引起像素不连续变化。

基于此，本文提出不确定性感知耦合神经P系统。引入一种基于局部差异和置信度的温度场作为调节因子，将像素级不确定性映射为膜电位阈值的自适应调节。该机制增强了高置信度区域的发放，抑制了低置信度区域的发放，并用连续权重替代硬二元竞争，从而获得平滑的决策过渡和自然边界。通过自适应阈值更新，模型在保持规则可解释性的同时具备了处理模糊信息的能力，从而提高了模糊区域的判别连续性，并抑制了边界伪影。在此基础上，构建了一个SWT域的多焦点图像融合框架。对于源图像经SWT分解后的高频子带，以系数及其邻域作为输入，通过CNPS的耦合竞争和动态阈值调节，在像素邻域级生成连续的高频权重图。对于低频子带，设计了结合区域能量和边缘保持约束的自适应加权策略，利用局部能量反映结构显著性，并通过边缘保持正则化抑制过度平滑，从而保持整体亮度和对比度的一致性。

与具有黑箱特性的现有深度学习框架相比，本文所提方法通过仿生膜计算的规则提供了数学可解释性。为解决传统脉冲耦合神经网络和标准神经P系统中固有的决策局限，本文引入了不确定性温度场机制。该机制能够对聚焦边界处的模糊特征实现动态阈值调节和响应平滑，从而解决传统二元竞争规则容易引起像素不连续变换和边界伪影的缺陷。针对常规多尺度分解通常引起的空间错位和频段信息碎片化问题，本文结合静止小波变换（SWT）的非下采样特性和低频分量的空间低通调制策略，构建了一个整合高频不确定性感知和低频结构约束的统一融合框架。这种从硬决策转向软映射、从单频域处理转向高低频协同优化的重建方法，解决了现有算法在处理高对比度复杂场景时容易产生的光晕效应和对比度不平衡问题。

本文的主要贡献包括：
• 本文提出了不确定性感知双通道耦合神经P系统（UA-DCNPS），并将其应用于设计高频子带的融合规则，通过不确定性感知实现动态调节，提高了散焦过渡区和弱纹理区域判别的平滑性和稳定性，同时保持了可解释性和局部竞争优势。
• 本文提出了一种基于静止小波变换（SWT）域的级联融合策略，解决了高频子带中复杂纹理与噪声难以区分的问题，从而实现图像细节的精细保留。
• 本文采用结构先验约束低频一致性，在不依赖深度训练的情况下实现了细节与全局对比度的协同优化。

本文其余部分组织如下：第2节回顾相关工作，第3节介绍方法和流程，第4节描述所开展的实验，第5节总结结论和未来工作。

第2节片段：手工特征方法

手工特征方法主要包括空间域方法和变换域方法。基于空间域方法，Farid等[37]提出了一种内容自适应模糊多焦点图像融合算法，该算法基于潜在内容迭代模糊局部区域。Li等[38]提出了一种使用求和修正拉普拉斯（SML）和导向滤波的空间域融合方法，通过采用选择最大SML的原理获得初始决策图。

方法

本节首先回顾耦合神经P系统和静止小波变换的基本理论，并在此基础上，重点详细介绍本文设计的改进耦合神经P系统。

数据集

为评估所提MFIF方法，使用了三个公开数据集：Lytro[60]、MFFW[61]和MFI-WHU[62]。Lytro数据集是一个公开基准数据集，包含20对多焦点图像。MFFW数据集包含13对多焦点图像。MFI-WHU数据集源自COCO数据集，包含120对多焦点图像。

这三个数据集允许对图像融合进行全面测试。评价指标 对于 MFIF 任务，主要有两类评估 结论 本文提出了一种基于不确定性感知双通道耦合神经 P 系统的多焦点图像融合方法。主要贡献如下：（1）构建了一个可解释的并行计算框架，为多模态和多源信息集成提供了基于规则的轻量级支持；（2）通过不确定性温度场机制，将传统的硬决策转化为连续映射，减少了失焦边界伪影；以及（3）一个 CRediT 作者贡献声明 Jiachang Xu：写作–审阅与编辑、资金获取、数据整理、概念构思。Lei Yang：写作–初稿、软件、方法论、概念构思。Hongjin Li：写作–审阅与编辑、资源、验证、正式分析。Shuzhi Su：写作–审阅与编辑、验证。Ruijuan Zhao：写作–审阅与编辑、监督。利益冲突声明 作者声明他们没有已知的竞争性财务利益或个人关系，这些利益或关系可能影响本文所报告的工作。Jiachang Xu 是中国淮南安徽理工大学计算机科学与工程学院的副教授。他在长春吉林大学计算机科学与技术学院获得学士学位，并在淮南安徽理工大学电气与信息工程学院获得博士学位。他的研究兴趣包括计算智能和优化控制。Xu 博士目前是一位 Jiachang Xu|Lei Yang|Hongjin Li|Shuzhi Su|Ruijuan Zhao 安徽理工大学计算机科学与工程学院，中国淮南，232001