《AI》:Patient-Aware Sequential Partition Learning with a Progressive Sparse Mixture-of-Experts Architecture for Imbalanced Retinal OCT Classification
编辑推荐:
视网膜光学相干断层扫描(OCT)分类常受到显著类别不平衡的影响,并且当同一患者的图像同时出现在训练集和测试集时,还会受到评估偏倚的影响。研究人员提出MCSP-LightP3R-MoE,一种患者感知框架,将少数类引导的循环序贯分区学习与渐进式轻量稀疏专家混合(M
视网膜光学相干断层扫描(OCT)分类常受到显著类别不平衡的影响,并且当同一患者的图像同时出现在训练集和测试集时,还会受到评估偏倚的影响。研究人员提出MCSP-LightP3R-MoE,一种患者感知框架,将少数类引导的循环序贯分区学习与渐进式轻量稀疏专家混合(MoE)路由相结合,用于四分类视网膜OCT分类。基于84,484幅OCT图像构建了组不相交(group-disjoint)的训练、验证和测试子集,涵盖CNV、DME、DRUSEN和NORMAL类别。该模型采用ImageNet预训练的ResNet18骨干网络,包含三个渐进式LightMoE模块、异构轻量专家和Top-1路由,并在三个独立随机种子下与传统卷积神经网络(CNN)、不平衡处理及消融基线进行比较评估。MCSP-LightP3R-MoE取得93.28±0.29%的平衡准确率(balanced accuracy)和92.06±0.37%的宏平均F1(macro-F1),DRUSEN敏感度达到89.17±1.92%,较ResNet18提高8.78个百分点。患者簇自助法(patient-cluster bootstrap)分析支持相对于传统CNN基线在平衡准确率和少数类敏感度上的若干提升。该模型包含11.57百万个参数,仅比ResNet18多3.47%。这些结果表明,患者感知的序贯暴露和稀疏专家路由可在保留单一紧凑推理模型的同时改善少数类敏感型OCT分类。
研究背景与问题:视网膜光学相干断层扫描(OCT)可无创提供视网膜结构的高分辨率截面图像,深度学习已被广泛用于其自动判读。然而,视网膜OCT分类常同时面临类别不平衡和评估偏倚问题:多数类在优化中占主导,导致总体准确率较高但少数类病理识别不足;同一患者或采集组的多幅B扫描若同时进入训练集和测试集,可造成数据泄漏并高估性能。现有随机过采样、欠采样、SMOTE、focal loss、类别平衡损失等主要改变样本选择或损失权重,未直接控制不同类患者组在训练过程中的序贯暴露;常规残差网络对所有输入采用固定特征变换路径,而稀疏专家混合(MoE)虽可条件计算,却在视网膜OCT、患者级不平衡和组不相交评估中的交互研究不足。因此,研究人员开展患者感知序贯分区与渐进稀疏专家路由相结合的研究,试图在单一连续优化模型中兼顾少数类敏感识别和较可靠评估。研究人员提出MCSP-LightP3R-MoE,将少数类引导循环序贯分区学习(MCSP)与LightP3R-MoE结合,采用组不相交训练、验证和测试划分,模型选择仅依据验证集宏平均F1(macro-F1),测试集最终隔离;并以三个随机种子与常规CNN、不平衡处理、消融及匹配预算控制比较。原始系列中该框架取得93.28±0.29%平衡准确率和92.06±0.37% macro-F1,DRUSEN敏感度89.17±1.92%,较ResNet18提高8.78个百分点,参数量仅增加3.47%。但修正的匹配预算Top-1直通式(straight-through, ST)评估显示其平均DRUSEN敏感度高于ResNet18+MCSP和focal-loss基线,而平均准确率和macro-F1较低;统计支持主要相对于常规CNN,对平衡采样未见统计优越性。其意义在于揭示患者感知序贯暴露和稀疏路由可在单一紧凑模型中形成少数类敏感的操作点,而非全指标统一优越。
关键技术方法(不超过250字):研究基于公开视网膜OCT数据集(OCT2017命名结构)的84,484幅B扫描,含CNV、DME、DRUSEN、NORMAL四类,构建70%/10%/20%组不相交划分,得到59,140/8,449/16,895幅图像。训练集按患者/组构建类块,目标块约5000幅,形成5/2/1/4块,每周期5阶段、共10周期。模型以ImageNet预训练ResNet18为骨干,引入三个LightMoE模块,每模块含四个异构轻量深度可分离卷积专家,采用不同空洞/感受野,执行Top-1稀疏路由,并以直通式选择概率代理传递分类梯度;训练采用标签平滑交叉熵与负载均衡项、AdamW优化,随机种子为17、29、43,统计采用患者簇自助法(patient-cluster bootstrap)。
研究结果:
5.1 与传统CNN基线比较(Comparison with Conventional CNN Baselines):在相同组不相交测试协议下,DenseNet121和EfficientNet-B0的原始准确率略高,而MCSP-LightP3R-MoE获得最高平衡准确率;相对ResNet18,其平衡准确率提高1.69个百分点,总体准确率相当,macro-F1接近最强常规基线,跨三种子变异相对较低,但无单一模型在所有指标上占优。
5.2 类别性能(Class-Wise Performance):NORMAL最易分类,DRUSEN最具挑战;相对ResNet18,DRUSEN敏感度提高8.78个百分点,DRUSEN F1提高2.68个百分点。代表运行中约10%的DRUSEN图像被判为CNV,残余主要错误集中在DRUSEN与CNV分离。
5.3 ROC与精确率-召回率分析(ROC and Precision–Recall Analysis):代表运行的AUROC为CNV 0.984、DME 0.986、DRUSEN 0.969、NORMAL 0.998;平均精确率为CNV 0.971、DME 0.935、DRUSEN 0.893、NORMAL 0.993,DRUSEN在精确率-召回率域仍最困难。
5.4 与不平衡处理策略比较(Comparison with Imbalance-Handling Strategies):在相同LightP3R-MoE架构下,全不平衡训练DRUSEN敏感度最弱且种子变异大,常规平衡采样显著改善;MCSP取得最高平衡准确率和DRUSEN敏感度,而BalancedSampler保持略高总体准确率、macro-F1、DRUSEN精确率和DRUSEN F1,体现敏感度与精确率的不同操作点。
5.5 消融研究(Ablation Study):原Top-1/Top-2、乱序调度、非渐进路由和同质专家等结果描述各自原配置;新匹配预算控制进一步区分调度、架构和损失贡献。
5.5.1 暴露匹配随机混合控制(Exposure-Matched Random-Mixing Control):在每类呈现次数精确匹配下,随机混合较MCSP-ST平均准确率提高0.50个百分点、macro-F1提高0.44个百分点,DRUSEN敏感度降低2.22个百分点;配对区间包含零,不能证明任一调度显著优越,呈总体指标与少数类敏感度权衡。
5.5.2 匹配训练预算下的解释(Interpretation Under Matched Training Budgets):MCSP-ST与随机混合均使用15,715次优化更新、1,005,760次图像呈现和10次验证机会;MCSP-ST为91.90% macro-F1和88.61% DRUSEN敏感度,随机混合为92.34%和86.39%,步数匹配的全数据MoE-ST为92.54%和83.38%,说明共同预算下存在不同类性能权衡。
5.5.3 组件隔离与损失控制(Component Isolation and Loss-Based Controls):完整MCSP-ST为93.83%准确率、91.90% macro-F1、88.61% DRUSEN敏感度;去除MoE的ResNet18+MCSP为94.31%、92.36%、86.22%;focal loss为94.86%、92.87%、82.89%;逆频率加权交叉熵DRUSEN敏感度86.37%,有效样本数类别平衡交叉熵84.11%,全数据ST-MoE为83.38%。结果不支持MCSP与MoE组合在所有指标上统一优越。
5.5.4 负载均衡正则影响(Effect of Load-Balancing Regularization):去除均衡项后,平均准确率由93.81%升至94.09%,macro-F1由91.85%升至92.12%,DRUSEN敏感度87.89%对87.87%几乎不变;第三MoE阶段最终周期硬分配归一化熵为0.7245对0.2717,主导专家份额由49.41%升至82.74%,seed 43出现完全硬路由坍塌。均衡项更应解释为路由利用正则,而非分类性能保证。
5.6 统计分析(Statistical Analysis):患者簇自助法支持相对ResNet18在平衡准确率、DRUSEN敏感度和DRUSEN F1上的改善;相对DenseNet121支持平衡准确率和DRUSEN敏感度改善;相对EfficientNet-B0的DRUSEN敏感度区间为正向但平衡准确率区间跨零;相对平衡采样,原系列及新ST系列相关区间均含零,新ST中MCSP-ST平均DRUSEN敏感度88.61%对86.52%、差+2.09个百分点但区间含零,不能声称统计优于平衡采样。
5.7 训练稳定性(Training Stability):验证macro-F1随序贯周期存在波动,说明需依据验证集选择检查点而非自动保留最终训练状态;跨三种子报告了相对较小的标准差,但提供文本中具体数值未显示。
5.8 校准性能(Calibration Performance):报告期望校准误差(ECE)、Brier分数和负对数似然(NLL)作为最终模型在组不相交测试协议下的描述性属性,未作为全面优于基线的证据。
5.9 模型复杂度(Model Complexity):模型含11,566,384个可训练参数,ResNet18为11,178,564个,增加387,820个(约3.47%);估算FLOPs增加0.66%,但GPU单图推理延迟由1.164 ms升至3.181 ms,约2.73倍;动态专家选择与稀疏路由开销未通过操作级剖析单独验证,且测量不含预处理、传输和临床流程开销。
讨论部分总结:匹配预算控制下,MCSP-LightP3R-MoE(Top-1 ST)取得最高平均DRUSEN敏感度,但ResNet18+MCSP及若干标准或不平衡感知损失基线获得更高平均总体准确率或macro-F1,故应解释为固定组不相交划分下的类别敏感权衡,而非统一优越或MCSP与MoE的协同证明。MCSP通过类块构成改变优化更新中的类别组成并增加DRUSEN暴露,但暴露匹配随机混合显示确定性块顺序未能显著改善总体性能;与平衡采样相比,两者形成不同操作点,且相关置信区间含零。临床层面,筛查导向场景中较高DRUSEN敏感度可能减少漏诊,但须与精确率和假阳性负担权衡;诊断支持场景需平衡假阴性与假阳性,当前实验未量化临床成本或最佳阈值,不能视为临床验证系统。稀疏路由方面,Top-1足以获得有竞争力表现,第二专家无一致优势;ResNet18+MCSP总体准确率和macro-F1更高而DRUSEN敏感度较低,未证明协同增益。组不相交评估和患者簇自助法提供更保守估计,但DRUSEN与CNV混淆仍是主要残余错误;局限包括单一公开数据集、患者分组来自命名结构且需临床元数据确认、仅三个种子、置信区间条件于单一划分、缺乏外部验证,以及推理延迟需进一步评估。
研究结论部分翻译:本研究提出了MCSP-LightP3R-MoE,一种用于类别不平衡视网膜OCT分类的患者感知序贯学习框架。该方法在单一基于ResNet18的模型中将少数类引导的循环分区训练与渐进稀疏Top-1专家路由相结合。通过同时控制类特定患者组的时间暴露和中间特征的条件变换,该框架旨在不依赖模型集成的情况下改善类别平衡识别。在修正的匹配预算评估中,所提框架取得88.61%的平均DRUSEN敏感度,而ResNet18+MCSP(不含MoE)为86.22%,ResNet18 focal-loss基线为82.89%,但其平均准确率和macro-F1低于这些对照。组-种子配对自助法在固定数据划分上给出了相对于ResNet18+MCSP的DRUSEN敏感度差异及其Holm校正结果。这些结果支持类别敏感操作点的解释,而非组合组件带来普遍性能增益。结果还揭示重要权衡:一些传统基线和平衡采样取得略高总体准确率、macro-F1或DRUSEN精确率。因此,所提方法的贡献不是所有指标上的统一优越性,而是向更平衡分类和更强识别欠代表病理类的偏移。总体而言,研究结果表明,患者感知序贯分区学习与稀疏条件专家处理可在单一紧凑推理模型中有效整合用于视网膜OCT分类。未来工作将聚焦于跨独立OCT数据集的外部验证、自适应分区调度、改善DRUSEN与CNV区分,以及从FLOPs、延迟、吞吐量和内存消耗方面更详细评估推理效率。