基于Kolmogorov-Arnold网络的新型跨模态融合方法XKanFuse在医学多模态图像融合中的应用研究

【编辑推荐】针对多模态医学图像融合中特征表征不足与跨模态交互受限的难题，南开大学团队提出基于Kolmogorov-Arnold Network（KAN）的XKanFuse算法。该研究通过自适应KAN卷积（ACKan）实现局部-全局非线性表征，结合跨模态Kansformer（XKansformer）强化多尺度注意力交互，在CT-MRI/PET-MRI融合任务中显著提升边缘锐度与病灶区域精度，为临床决策提供更全面的影像学支持。

　　

医学影像技术的高速发展使得CT、MRI、PET等多模态成像手段成为临床诊断的常规工具。然而，单一模态影像存在固有局限：CT虽能清晰显示骨骼等高密度结构，但对软组织对比度不足；MRI擅长呈现脑脊液等低密度组织，却无法反映代谢活性；PET/SPECT的功能成像又受限于空间分辨率。这种"各有所长又各有所短"的现状，促使研究者探索多模态医学图像融合技术，通过整合不同成像模式的互补信息，为疾病诊断提供更全面的可视化支持。

尽管深度学习已在该领域取得进展，现有方法仍面临两大瓶颈：一是传统CNN难以建模跨模态的全局依赖关系，而Transformer又易忽略局部细节；二是现有交互机制对复杂非线性特征的表征能力不足。为此，南开大学团队Xinjian Wei、Yafei Xiong等人在《Knowledge-Based Systems》发表研究，提出基于Kolmogorov-Arnold网络的新型融合框架XKanFuse。

研究采用哈佛全脑图谱（Harvard Whole Brain Atlas）的256×256分辨率CT-MRI（184对）和PET-MRI（271对）图像作为数据集，通过端到端编码器-解码器架构实现无监督融合。核心技术突破在于：1）自适应KAN卷积（ACKan）将非线性样条函数与动态感知机制结合，增强局部-全局特征表征；2）跨模态Kansformer（XKansformer）采用X形多级协作策略，利用可学习非线性核促进多尺度注意力流动。

核心模块设计
ACKan模块创新性地将B样条基函数引入特征空间变换，通过可微参数实现动态核调整，在保持CNN局部感知优势的同时，利用KAN网络的高阶非线性拟合能力捕捉长程依赖。实验显示其对脑室边缘等细微结构的表征误差降低23.6%。XKansformer则构建双路径交叉注意力机制，在QKV（Query-Key-Value）计算中嵌入可学习激活函数，使PET代谢热点与MRI解剖结构的对齐精度提升18.4%。

实验结果
在PET-MRI融合任务中，XKanFuse的SSIM（结构相似性指数）达到0.913±0.021，显著优于对比方法。定性分析显示，其不仅能清晰保留MRI的脑沟回细节（如中央前回），还可准确叠加PET的葡萄糖代谢热点。对于CT-MRI融合，算法在颅骨-脑组织交界处实现0.89的边缘锐度指数，避免传统方法常见的伪影问题。消融实验证实ACKan使特征表征误差降低37.2%，而XKansformer使跨模态交互效率提升29.8%。

该研究的创新价值在于：首次将KAN网络引入医学图像融合领域，通过可解释的非线性映射解决复杂特征表征问题；提出的X形交互范式为多模态学习提供新思路。临床意义在于：生成的融合图像可同时显示CT的钙化灶、MRI的水肿带及PET的代谢异常，有助于早期发现阿尔茨海默病的海马区萎缩伴代谢减低等细微病变。未来工作将探索在超声- MRI融合等更复杂场景的应用，并优化模型计算效率以适应实时手术导航需求。