基于双向交叉注意力的Transformer模型在多模态年龄相关性黄斑变性分类中的应用

为解决年龄相关性黄斑变性（AMD）多模态诊断中局部感受野受限和跨模态特征融合不足的问题，研究人员提出了一种结合CNN与Transformer的双向交叉注意力模型。该模型通过CNN提取局部特征，利用Transformer的全局建模能力实现CFP与OCT图像的高效融合，最终在公开数据集上取得F1-score 0.897和准确率84.3%的优异表现，为AMD精准分型提供了新范式。

　　

研究背景
年龄相关性黄斑变性（AMD）是全球50岁以上人群不可逆盲的首要病因，其晚期分为干性AMD（萎缩型）和湿性AMD（新生血管型），其中湿性AMD又包含需差异化治疗的息肉样脉络膜血管病变（PCV）。临床诊断依赖眼底彩照（CFP）和光学相干断层扫描（OCT）的双模态影像，但现有基于卷积神经网络（CNN）的多模态方法因局部感受野限制，难以捕捉跨模态长程依赖。此外，配对多模态数据稀缺也制约模型性能。

研究机构与方法
湖南大学等机构的研究团队在《Biomedical Signal Processing and Control》发表研究，提出集成CNN与Transformer的双向交叉注意力模型。关键技术包括：1）CNN特征提取层获取局部表征；2）双向交叉注意力模块实现CFP与OCT的跨模态交互；3）基于类激活图（CAM）引导的GAN合成数据增强策略。实验采用公开数据集（1094张CFP+1289张OCT），构建四分类任务（正常/干性AMD/PCV/湿性AMD）。

研究结果

1. 模型架构设计：通过CNN-Transformer混合架构，在保留局部特征的同时利用自注意力与交叉注意力机制，显著提升跨模态特征融合效率。
2. 数据增强效果：CAM引导的合成图像与松散配对策略使训练数据多样性提升，缓解了配对数据不足的瓶颈。
3. 性能对比：测试集F1-score达0.897（较基线提升4.3%），准确率84.3%，尤其在PCV亚型识别中表现突出。

结论与意义
该研究首次将双向交叉注意力机制引入AMD多模态诊断，通过全局建模能力突破传统CNN的局部感知局限。提出的数据增强策略为医学影像小样本学习提供了新思路。临床层面，模型对PCV的精准识别有助于指导抗VEGF药物与光动力疗法的差异化应用，推动AMD诊疗向个体化迈进。研究同时为其他多模态医学图像分析任务提供了可迁移的技术框架。