摘要
不同的成像模态在强度特性和信息表示方面存在固有的差异，导致多模态特征之间呈现显著的异质性。当这些异质性特征在统一的表示空间中被直接学习和融合时，可能会出现特征耦合现象，导致全局结构信息与局部细粒度细节之间相互干扰。为了解决现有方法在结构信息和细粒度信息的差异化建模方面的局限性，我们提出了面向多模态图像融合的层次化双视角协同建模方法（HDPF）。HDPF采用双视角特征聚合模块（DFAB），联合利用基于卷积的局部表示和基于Transformer的全局上下文建模。在此基础上，HDPF进一步构建了分别面向结构信息和细节信息的两条差异化通路，从而为互补的多模态信息提供差异化表示。提取的特征随后由解码器进行重组和整合，以重建最终的融合图像。我们在多个红外-可见光图像融合（IVF）数据集以及医学图像融合（MIF）任务上进行了大量实验。在TNO数据集上，HDPF的VIF和MI评分分别达到0.80和3.50。在MRI-PET融合任务中，VIF评分达到0.61。实验结果表明，HDPF在所评估的多模态图像融合任务中实现了具有竞争力且相对均衡的融合性能。
