基于跨层引导的多模态正交融合网络在阿尔茨海默病诊断中的应用与机制研究

本文提出了一种创新的多模态正交融合网络（MOFNet），通过跨层引导交互（CGI）模块增强病灶区域细粒度表征，利用多模态正交补偿（MOC）模块抑制冗余信息并实现双向互补，结合特征增强融合（FEF）模块自适应整合PET与MRI的模态贡献。该方法在ADNI数据集上显著提升了阿尔茨海默病（AD）分类性能，为多模态神经影像诊断提供了新思路。

　　

亮点 (Highlights)

• •

  我们提出跨层引导交互（Cross-Layer Guidance Interaction, CGI）模块，利用高层特征指导低层特征学习，增强疾病相关区域的细粒度表征。

• •

  设计多模态正交补偿（Multi-modal Orthogonal Compensation, MOC）模块，促进模态间双向交互并抑制冗余信息。

• •

  开发特征增强融合（Feature Enhancement Fusion, FEF）模块，通过动态评估每个受试者的模态贡献自适应融合多模态信息。

结论 (Conclusion)

本文提出了一种新颖的基于跨层引导的多模态正交融合网络（MOFNet），用于阿尔茨海默病（AD）诊断。该方法旨在抑制冗余的跨模态特征，同时增强疾病相关关键区域的判别性表征。由于仅存在少量与疾病相关的局部区域，我们设计跨层引导交互（CGI）模块以精炼这些关键区域的表征。此外，多模态正交补偿（MOC）模块通过正交分解促进模态间互补信息交换，减少冗余。特征增强融合（FEF）模块进一步根据个体差异自适应加权多模态特征。在ADNI数据集上的实验验证了MOFNet在AD分类任务中的优越性。