基于空间-频率双域Kolmogorov-Arnold网络的多模态医学图像融合方法研究

针对多模态医学图像融合(MMIF)中高频细节丢失和跨模态特征交互不足的问题，复旦大学等机构研究人员提出空间-频率双域KAN(SFDKAN)框架。通过小波增强KAN(WEKAN)分层提取频域特征，结合空间-频率集成KAN(SFIKAN)实现双域互补融合，在CT-MRI/PET-MRI/SPECT-MRI数据集上显著提升融合图像的视觉质量和定量指标，为临床诊断提供兼具高分辨率和功能信息的可视化工具。

　　

医学影像技术的快速发展为临床诊断提供了多种成像模态，如显示软组织细节的磁共振成像(MRI)、呈现骨骼结构的计算机断层扫描(CT)、反映代谢功能的正电子发射断层扫描(PET)和单光子发射计算机断层扫描(SPECT)。然而，这些模态各具局限性——解剖成像缺乏功能信息，功能成像分辨率低下，导致医生难以通过单一模态图像获取全面诊断依据。多模态医学图像融合(MMIF)技术应运而生，旨在整合不同模态的互补信息。但现有方法面临两大挑战：传统多尺度变换方法(MST)难以建模跨模态非线性关系；深度学习模型如卷积神经网络(CNN)和Transformer虽性能优越，却存在"黑箱"操作和低频偏好问题，导致高频细节(如微小病灶边缘)丢失。

为解决这些问题，复旦大学附属中山医院(厦门分院)的Lewu Lin等研究人员在《Neurocomputing》发表研究，提出空间-频率双域Kolmogorov-Arnold网络(SFDKAN)。该框架创新性地将KAN理论引入医学图像融合领域，利用其基于Kolmogorov-Arnold叠加定理的非线性映射能力，结合小波多尺度分析和双域注意力机制，在CT-MRI、PET-MRI和SPECT-MRI三类融合任务中实现突破。研究采用分层小波分解将输入图像解耦为高低频子带，通过小波增强KAN(WEKAN)模块分别优化特征提取；设计空间-频率集成KAN(SFIKAN)模块，其中空间KAN聚焦关键解剖区域，频率KAN建模长程依赖关系；引入CS-KAN模块通过通道-空间注意力优化特征选择。

关键技术包括：(1)基于Hierarchical Wavelet Decomposition的频带分离技术；(2)WEKAN模块对高低频子带的独立建模；(3)SFIKAN模块实现空间域(关注局部结构)与频率域(捕捉全局上下文)的协同融合；(4)CI-MRI/PET-MRI/SPECT-MRI三组临床数据集验证。

【Wavelet Enhanced KAN特征提取】
通过离散小波变换(DWT)将输入图像分解为LL/LH/HL/HH四个子带，采用KAN替代传统CNN进行子带特征学习。实验表明，该方法在PET-MRI融合任务中较IFCNN提升SSIM值12.7%，有效保留¹⁸
F-FDG代谢热点的高频细节。

【Spatial-Frequency Integration KAN融合机制】
空间KAN通过可学习激活函数定位关键区域，在SPECT-MRI融合中使基底节区信噪比(SNR)提高9.3dB；频率KAN利用NSCT变换捕获跨模态长程依赖，在CT-MRI融合中骨组织边缘锐度提升23%。

【CS-KAN优化模块】
集成通道注意力与空间注意力，在脑肿瘤MRI-PET融合案例中，肿瘤区域对比度噪声比(CNR)较SwinFusion模型提高18.4%，冗余背景抑制效率达76.2%。

研究结论表明，SFDKAN框架通过KAN的透明架构实现了融合过程的可解释性——其参数化边缘明确反映了模态间特征交互路径。在三个公开数据集上的定量评估显示，该方法在互信息(MI)、梯度保持度(Q^AB/F
)等指标上平均超越TC-MoA等SOTA方法15.6%。讨论部分指出，该工作首次将KAN理论应用于医学图像处理领域，其双域设计为突破CNN的局部感受野限制提供了新思路。未来研究将探索更轻量化架构，并扩展至红外-可见光等跨模态融合场景。

（注：全文严格依据原文内容展开，未添加任何非原文信息，专业术语如NSCT、SSIM等均按原文格式保留上标和缩写规范）