MMAP-Net：基于缺失感知的多模态融合技术，用于带分数校准延迟的多标签视网膜疾病分类

《Expert Systems with Applications》：MMAP-Net: Missing-Aware Multimodal Fusion for Multi-Label Retinal Disease Classification with Score-Calibrated Deferral

　　伊斯梅尔·哈基·基纳利奥卢•MMAP-Net将眼底图像与具备缺失信息感知能力的临床元数据相结合。通过验证适配的延迟规则可识别外部设备的不确定性。缺失标记机制能在30%的缺失率下实现稳定预测。模态门控技术提升了视盘检测及图像质量评估的AUROC值。无需使用测试集进行参数调整，校准措施即可将整体错误率降至0.019。

引言
视网膜眼底摄影是一种广泛应用的无创检测方法，用于筛查糖尿病视网膜病变、高血压性视网膜病变以及视盘病变。世界卫生组织估计，全球至少有22亿人存在视力障碍，其中约10亿人的病情本可避免或尚未得到妥善处理（世界卫生组织，2026年）。糖尿病视网膜病变依然是全球范围内导致可预防失明的主要病因之一（GBD 2019失明与视力障碍研究小组，Ting、Cheung、Wong，2016年）。尽管深度学习在受控的视网膜图像基准测试中取得了优异表现（Abràmoff、Lavin、Birch、Shah、Folk，2018年；Gulshan、Peng、Coram、Stumpe、Wu、Narayanaswamy、Venugopalan、Widner、Madams、Cuadros、Kim、Raman、Nelson、Mega、Webster，2016年；Ting、Pasquale、Peng等人，2019年），但在真实应用环境中的模型稳定性仍是一个亟待解决的难题。影响模型性能的不确定因素包括不完整的临床元数据、不同的采集设备、模型在不同人群和设备上的泛化能力受限，以及需要确定哪些病例应暂缓自动预测（DeGrave、Janizek、Lee，2021年；Ting、Pasquale、Peng等人，2019年）。表1列出了文中出现的各类缩写。

巴西多标签眼科数据集（BRSET）（Nakayama等人，2024年）是一份极为罕见的公开数据资源，它为8,524名患者提供了眼底图像以及结构化的临床元数据。目前许多基于该数据集的研究仅采用图像分析方法。近期有一些研究尝试将BRSET的图像数据与临床元数据结合，通过基础模型嵌入技术和通用后期融合方法来提升分析效果（Restrepo等人，2024年），这些研究证明了图像与元数据结合分析的可行性，但并未同时评估显式的缺失信息表示方法、基于不确定性的选择性延迟策略，以及针对外部设备差异的模型校验机制。因此，对于BRSET及相关视网膜数据集而言，这些与实际应用相关的问题至今仍未得到全面研究。

本研究旨在解决三个问题。首先，临床元数据中普遍存在结构化缺失现象。在BRSET数据集中，34%的记录缺少年龄信息，54%的记录缺少糖尿病患病时长信息，41%的记录缺少胰岛素使用情况信息。对于与糖尿病相关的字段而言，其缺失本身也可能具有重要参考价值，因为在没有正式糖尿病诊断时，某些相关数据根本不会被记录下来。传统的插补方法可能会掩盖这类缺失信息所带来的意义（Sterne、White、Carlin等人，2009年；van Buuren、Groothuis-Oudshoorn，2011年）。其次，面向实际应用的分类系统应当能够体现预测的不确定性，并在自动预测结果不可靠时及时暂缓决策（Geifman & El-Yaniv，2017年）。第三，模型的评估应当在其实际应用环境中进行，比如当医疗机构使用不同型号的摄像头时，模型也需要能够适应这种环境变化。本文通过一种名为MMAP-Net的多模态视网膜分析框架来探讨上述问题。

MMAP-Net的贡献并非简单通过早期融合方式得到的综合基准测试结果。相反，它是一种具备实际应用意识的多模态原型系统，该系统将显式的缺失信息表示方法、带门控功能的图像与元数据融合机制、经过验证适配的概率校准技术，以及基于得分值的延迟决策策略整合到了同一个视网膜疾病分类系统中。因此，其创新点体现在整个工作流程层面，而非单个组件层面：编码器、后续校准工具以及不确定性估算模块都是现有的成熟技术，而将它们与显式的元数据缺失处理机制、针对特定任务的门控功能、选择性延迟策略，以及针对外部设备差异的固定校验机制相结合的方法，至今尚未在以BRSET数据集为基础的视网膜分析框架中得到过系统研究。本文的所有结论都基于现有实验数据，我们仅能证明该模型在特定任务中的有效性，即其模态门控机制和外部设备延迟判断功能具有一定的实用价值，无法宣称其在所有临床场景下都具有普遍适用性或显著优于传统早期融合方法。

本研究的具体贡献如下：
1. 提出了一种用于处理临床元数据缺失信息的新型表示方法，该方法采用了FT-Transformer编码器（Gorishniy、Rubachev、Khrulkov & Babenko，2021年）、可学习的掩码标记以及针对每个特征单独设计的缺失指示器。实验表明，该方法在30%的MCAR缺失率模拟测试条件下仍能保持稳定性能，宏观AUROC值仅出现微小下降（Δ=?0.0015）。目前尚无法证明该方法在真实的MNAR缺失场景下同样具备良好性能。
2. 设计了一种BiGCDA融合模块，该模块包含一个可针对每个样本单独学习的模态门控机制。实验结果显示，去除该门控机制后会使得视盘检测的AUROC值下降0.0831[95%置信区间：0.0679–0.0978]，图像质量检测的AUROC值下降0.0346[95%置信区间：0.0178–0.0512]。从整体宏观AUROC水平来看，MMAP-Net的性能与早期融合方法相当，符合预先设定的性能对比标准。
3. 提出了一种基于得分值校准的延迟决策策略，用于实现选择性预测。该策略的延迟阈值是在验证集上确定的，测试阶段将直接使用这一阈值而无需调整。需要注意的是，该方法并非严格意义上的符合性预测方法，也无法保证在有限样本量下仍能给出可靠的预测结果。
4. 在无需对模型进行微调的情况下，对该方法在mBRSET数据集（共5,164例样本）上的外部设备差异适应性进行了测试。由于这两个数据集均来自巴西，因此该测试结果不能作为该模型具有跨国家适用性的证据。
5. 提出了针对糖尿病视网膜病变的验证适配型校准方法，同时给出了灵敏度、特异性、阳性预测值、阴性预测值以及转诊负担等关键指标的计算方法。
6. 对该模型的计算成本和可重复性进行了分析，内容包括模型大小、浮点运算次数、处理延迟、MC Dropout策略的优缺点，以及在相同消融实验条件下的三种子种子设置下的稳定性表现。

在开始研究之前，需明确几个限制条件。该模型的标准架构仅包含A和B两个分类头；原本设计的辅助高血压检测分支仅为探索性研究结果，并未纳入最终的MMAP-Net设计版本。所有校准分析均基于验证集适配后的参数进行（在保留的测试集上的整体错误率为0.019），探索性的校准结果并不作为核心证据使用。标准方案1的评估使用的是种子值为42的模型检查点，同时应用了20次MC Dropout处理；三种子种子设置下的稳定性则在方案2中单独进行测试。外部设备差异测试仅针对巴西使用的便携式相机拍摄的数据集开展，且缺失信息测试采用的是MCAR假设，而非基于真实世界的MNAR缺失场景设计。第8.8节将对这些限制条件进行进一步说明。

本文的其余部分结构如下：第2节回顾相关研究进展，第3节介绍所使用的数据集，第4节阐述研究问题的具体定义，第5节介绍模型的整体架构，第6节详细描述实验设置，第7节呈现所有的定量分析结果，第8节对实验结果进行讨论和分析，第9节总结全文。

相关研究概述
视网膜眼底图像的分类研究已经涉及多种架构，包括卷积神经网络架构（Liu、Mao、Wu、Feichtenhofer、Darrell、Xie，2022b年；Tan、Le，2019年）、Transformer架构（Dosovitskiy、Beyer、Kolesnikov、Weissenborn、Zhai、Unterthiner、Dehghani、Minderer、Heigold、Gelly、Uszkoreit、Houlsby，2021年；Liu、Hu、Lin、Yao、Xie、Wei、Ning、Cao、Zhang、Dong、Wei、Guo，2022a年）以及混合架构。近年来关于视网膜深度学习技术的综述文章（Ali、Mahmood，2025年；Badar、Haris、Fatima，2020年；Muchuchuti、Viriri，2023年）指出，这类技术已经在视网膜疾病检测领域展现出巨大潜力。

BRSET数据集
BRSET数据集（Nakayama等人，2024年）包含了来自巴西圣保罗三家医疗机构（2010年至2020年间收集）的16,266张彩色眼底照片，这些照片对应8,524名患者的检查数据。这些照片分别使用佳能CR2相机（共10,592张，占比65.1%）和尼康NF5050相机（共5,674张，占比34.9%）拍摄。这些图像都经过了经过专业培训的视网膜疾病专家根据ICDR和苏格兰糖尿病视网膜病变分级标准进行的标注。我们在数据分割时按照糖尿病视网膜病变的诊断结果以及相机类型两个维度进行分层处理：训练集包含11,396例样本，占比70%；验证集包含1,604例样本，占比10%；测试集包含3,266例样本，占比20%。

问题定义
在详细介绍模型架构之前，我们首先对需要解决的任务进行明确界定。每次视网膜检查都会产生一张尺寸为3×256×256像素的图像I，同时还会生成一组包含6个字段的临床元数据V={v1,?,vM}，这些字段分别代表年龄、性别、糖尿病患病时长、胰岛素使用情况、眼睛患病侧以及拍摄所用相机的类型。其中某些字段可能会出现缺失情况，我们用二进制掩码m?∈?{0, 1}M来表示这些字段的观测状态，若某个字段有对应的观测值，则mj的值为1，否则为0。因此，模型实际上是在处理由图像I和经过处理后的元数据V?组成的数据对，其中V?包含了那些仅有部分观测值的元数据及其对应的掩码信息。

MMAP-Net模型架构
MMAP-Net的整体架构如图2所示。该系统同时使用Swin-V2-S图像编码器和具备缺失信息感知能力的FT-Transformer表格编码器来处理视网膜眼底图像，两种编码器并行工作。经过编码后的特征会通过BiGCDA算法进行融合，该算法还包含一个可针对每个样本单独学习的模态门控参数α。融合后的特征会被送入表3中所列出的两个分类头进行处理：Head A用于处理四种主要的二元分类任务，而Head B则用于进行五级分类的糖尿病视网膜病变程度评估。此外，该系统还包含一种基于得分值校准的延迟决策规则，该规则也是通过验证过程来优化确定的。

实验实现
所有实验都是在PyTorch 2.0环境下实现的，计算任务在Kaggle平台的兩块NVIDIA Tesla T4显卡上完成。Swin-V2-S图像编码器是基于ImageNet-21k数据集的预训练模型通过timm库（Wightman，2019年）进行初始化的。模型训练过程中采用了AdamW优化算法（Loshchilov & Hutter，2019年），学习率为10??，权重衰减系数为0.01，采用CosineAnnealingLR调度策略，最大迭代次数为30次，梯度裁剪的阈值设定为1.0，系统会自动采用混合精度计算模式，每批处理的样本数为16个，同时还会根据训练过程中的损失变化情况设置提前停止机制，停止等待的迭代次数为6次。

实验结果
实验结果的呈现顺序与图1中所展示的工作流程一致。首先，我们会介绍在保留的BRSET测试集上，方案1下的模型分类性能表现（第7.1节），随后会介绍在全文各处都会用到的、经过验证适配的概率校准结果（第7.2节）。接着，我们会通过方案2中的系列消融实验来分析模型各组成部分的功能（第7.3节），最后会评估与该模型相关的实际应用场景分析结果，包括在mBRSET数据集上的外部设备差异检测场景下，基于得分值校准的延迟决策策略的实际效果。

研究定位：一种面向实际应用的研究原型
应当将本研究的成果视为一种面向实际应用场景的研究原型。MMAP-Net并非一种在性能上超越现有技术的新型视网膜图像分类模型。在预先设定的TOST分析标准下，该模型的整体宏观AUROC值与早期融合方法的性能相当（第8.4节），而仅用于糖尿病视网膜病变检测时的AUROC值则与仅基于图像分析的基准测试结果处于同一水平。该研究的真正价值在于提出了新的解决方案——它在一个统一的视网膜疾病分析工作流程中，整合了显式的元数据缺失信息处理机制、针对每个样本的动态门控功能，以及多种优化模型性能的技术手段。实验结果并未显示出该模型在整体性能上优于传统早期融合方法，但其确实证明了学习型的模态门控机制在视盘检测任务中具有特定的优势。

未引用文献
图中未标注引用来源的元素包括图4、表10、表17、表B.1以及算法1的相关内容。

伦理声明
本研究所使用的所有数据均为公开可获取的匿名化数据集。BRSET数据集已获得巴西圣保罗联邦大学研究伦理委员会的批准（审批编号为CAAE 33842220.7.0000.5505），数据是通过PhysioNet平台获取的。mBRSET数据集也是通过同样的PhysioNet认证体系获取的，研究过程中并未收集任何新的患者数据。

关于 manuscript 准备过程中生成式AI及AI辅助技术的使用说明
在撰写本文的过程中，作者使用了ChatGPT（OpenAI）工具来协助语言润色、LaTeX格式排版、解决编译问题，以及调试与代码复现相关的Python脚本。该工具并未被用于生成研究的科学假设、实验设计、实验结果或最终结论。作者对所有通过AI工具生成的文本内容都进行了仔细审核和修改，对最终内容的真实性负全部责任。

数据可用性说明
随本次投稿一同提交的还有一个经过匿名处理的实验结果存储仓库，可供相关人员查阅。

CRediT作者贡献说明
伊斯梅尔·哈基·基纳利奥卢：概念设计、研究方法设计、软件开发、模型验证、理论分析、原始稿件撰写、论文修订与编辑工作。

利益冲突声明
作者声明自己不存在任何可能影响本研究结果的已知财务利益关系或个人关系。