《AI》：Comprehensive Analysis of Multimodal Fusion Techniques for Ocular Disease Detection
Veena K. M.,
Pragya Gupta,
Ruthvik Avadhanam,
Rashmi Naveen Raj,
Sulatha V. Bhandary,
Varadraj Gurupur and
Veena Mayya
编辑推荐：
为提升眼科疾病自动诊断的准确性，研究人员系统评估了早期、中期及晚期融合三种多模态融合策略在眼疾检测中的应用。结果表明，多模态特征融合显著提升了诊断性能，模型可解释性与单模态网络相当，但推理时间约增加50%，为临床部署中平衡准确性与效率提供了关键参考。
在全球范围内，超过22亿人受到眼疾困扰，其中至少10亿病例是可治疗或可预防的。然而，现代生活方式中过度的屏幕使用、不良营养和户外活动不足等因素，正加剧着眼部疾病的流行。对糖尿病视网膜病变（Diabetic Retinopathy, DR）、年龄相关性黄斑变性（Age-related Macular Degeneration, AMD）、白内障和青光眼等疾病的筛查需求日益增长。在常规临床实践中，眼科医生依赖于一个结构化的诊断工作流，整合多种成像模态（如眼底摄影、光学相干断层扫描（Optical Coherence Tomography, OCT）、荧光素血管造影（Fluorescein Angiography, FA）等）来手动评估和诊断眼疾。然而，解读每种模态都需要丰富的临床经验且耗时，这在资源有限或高吞吐量的环境中尤为突出。近年来，人工智能（Artificial Intelligence, AI）驱动的诊断系统，特别是基于深度学习（Deep Learning, DL）的自动化视网膜图像分析，正在改变这一局面。但现有研究多集中于单模态分析，而单一成像模态往往不足以捕捉疾病的全貌，这凸显了融合多模态信息以提升诊断准确性、鲁棒性和可解释性的迫切需求。尽管如此，如何最有效地融合不同模态、不同融合策略对模型性能、计算开销和可解释性有何影响，仍缺乏系统性的实证评估。本研究正是为了填补这一空白，对多模态融合技术进行了一次全面、深入的“体检”。
为了回答上述问题，研究者采用了三种公开可用的多模态眼科影像数据集：FFA-Fundus（包含配对的眼底和荧光素血管造影图像）、GAMMA（包含用于青光眼分级的眼底和OCT图像）以及OLIVES（包含用于糖尿病视网膜病变分期的眼底和OCT图像）。研究系统地设计并比较了三种核心融合策略：早期融合（在输入层拼接不同模态的图像）、特征融合（在特征提取阶段融合深层特征）以及晚期融合（在决策层融合各独立单模态网络的输出概率）。每种策略均基于VGG16、ResNet50、EfficientNetB0和Swin Transformer（SwinT）等骨干网络进行实现与评估。通过一系列详尽的实验，研究者旨在揭示不同融合方式在诊断性能、模型参数量、推理时间及可解释性（通过Grad-CAM可视化）方面的表现。
结果
- •
多模态融合普遍提升性能
在FFA-Fundus、GAMMA和OLIVES三个数据集上的实验表明，相较于单模态模型，多模态融合模型在多数情况下能获得更高的准确率、F1分数、AUC和Kappa分数。这证实了整合来自不同成像模态的互补信息确实有助于提升模型对眼部疾病的识别能力。
- •
特征融合与晚期融合表现更优
三种融合策略中，特征融合（即中期融合）在各项评估指标上表现最为稳定和优异，晚期融合紧随其后。而早期融合的性能提升相对有限，分析认为这可能是由于在输入层直接融合异质性特征空间可能导致信息混淆或引入噪声。
- •
SwinT在单模态任务中领先，但在多模态中受限
在单模态（仅使用眼底图像）分类任务中，基于Swin Transformer的模型展现了最佳性能，这得益于其通过自注意力机制建模长程依赖关系的能力。然而，在多模态融合设置中，其优势未能延续，可能是因为引入第二个模态（尤其是特征分布差异较大时）干扰了其固有的归纳偏置。相比之下，基于EfficientNet的模型在多模态任务中表现出色，其复合缩放方法能更好地平衡网络深度、宽度和分辨率，从而高效学习来自多模态的互补特征。
- •
性能与效率的权衡
尽管多模态融合带来了性能提升，但也付出了计算代价。研究发现，多模态网络所需的可训练参数平均比单模态网络增加了约75%。更重要的是，多模态架构的推理时间比单模态模型平均增加了约50%。不过，训练一个融合网络仍比分别训练两个独立的单模态网络更加高效。
- •
模型可解释性分析
通过Grad-CAM对模型关注区域进行可视化分析发现，无论是单模态还是多模态网络，其学习到的关键区域（如病灶区域）在很大程度上是一致的。例如，在FFA-Fundus数据集中，多模态融合有助于将网络关注区域更精确地限制在眼底范围内；而在GAMMA和OLIVES数据集中，多模态融合并未显著改变网络关注的解剖结构（如视盘、OCT分层）。这表明，在本研究设置下，多模态融合网络在决策时并未“创造”全新的关注模式，而是强化或细化了单模态网络已识别的关键特征。
- •
在独立外部数据集上的验证
为评估模型的泛化能力，研究者在另一个公开数据集TVHL上测试了表现最佳的EfficientNet模型。结果再次验证了之前的发现：单模态眼底图像对糖尿病视网膜病变检测贡献显著；在多模态融合策略中，晚期融合展现了优越的性能。
结论与讨论
本研究通过系统性的实证分析，揭示了多模态融合技术在自动化眼疾检测中的应用价值与挑战。核心结论在于，特征融合和晚期融合是提升诊断性能的有效策略，它们通过整合不同成像模态的互补信息，实现了比单模态模型更优的准确性和鲁棒性。这项工作的重要贡献在于，它不仅展示了性能提升，还量化了融合技术带来的计算成本（如约50%的推理时间增加），并评估了模型的可解释性，指出融合并未从根本上改变模型的决策依据，而是使其聚焦于更一致、更精确的解剖或病理区域。
研究意义深远。首先，它为开发临床可部署的自动化眼疾筛查系统提供了关键设计指导：在追求更高准确率的同时，必须审慎权衡计算效率，选择性模态整合与轻量级融合策略对于实际应用至关重要。其次，研究结果表明，当单一模态已包含高度判别性特征时，单模态模型同样可以具有竞争力，这为资源受限场景提供了实用方案。最后，该研究强调了公开、配对的多模态眼科数据集对于推动该领域研究的重要性。
当然，研究也存在局限，例如受限于公开数据规模，目前主要集中于疾病检测而非严重程度分级；采用的融合策略相对传统，未来可探索基于注意力机制等更先进的跨模态交互方法。总体而言，这项发表在《AI》杂志上的工作，为基于人工智能的多模态眼科影像分析奠定了坚实的实证基础，指明了通过智能信息融合实现更精准、可解释且高效的临床辅助诊断的未来方向。
