AME-Derm:融合非对称解剖混合专家与数据驱动罕见类验证的皮肤镜皮损分类框架

《Array》:AME-Derm: An Asymmetric Anatomical Mixture-of-Experts with a Data-Driven Rare-Class Verification Algorithm for Dermoscopic Skin-Lesion Classification

【字体: 大 中 小 】 时间:2026年11月01日 来源:Array 5.3

编辑推荐:

  AME-Derm算法将大型通才模型与紧凑的解剖学专家配对;在全部五个折上,AME-Derm较PanDerm提高4.5个宏观F1(macro-F1)点(p=0.031);病变分组评估使相近的单次划分得分转化为明确优势;一种算法规则利用视觉-语言模型(VLM)级联

  
AME-Derm算法将大型通才模型与紧凑的解剖学专家配对;在全部五个折上,AME-Derm较PanDerm提高4.5个宏观F1(macro-F1)点(p=0.031);病变分组评估使相近的单次划分得分转化为明确优势;一种算法规则利用视觉-语言模型(VLM)级联可靠验证罕见类;VLM级联使罕见血管类最多恢复12个F1点,且无性能回退。
解读文章:
研究背景与问题:皮肤癌发病率持续上升,黑色素瘤仍是相关死亡的重要原因;皮肤镜有助于早期发现,但判读具有主观性,不同临床医生对同一图像可能结论不同,这推动基于深度学习的计算机辅助诊断(CAD)发展。现有工作涵盖手工特征、轻量卷积网络、迁移学习、视觉Transformer、图像与临床元数据融合、集成学习、多任务学习和图模型,但共同障碍是严重类别不平衡:HAM10000中黑色素细胞痣占6,705/10,015,而皮肤纤维瘤仅115,分类器易偏向常见类,因此该研究以宏观F1(macro-F1)为主要指标。文献还存在两类弱点:架构上多数系统把全身作为统一输入,忽略皮损形态和诊断频率随解剖部位变化;评估上HAM10000同一皮损关联多张图像,图像级随机划分可造成病变级泄漏,单次标签分层划分和缺少外部队列验证会夸大性能。作者还指出解剖混合专家(MoE)的容量-数据权衡、基础模型基准不透明、罕见类错误持续等缺口,因而开展AME-Derm研究。

研究人员开展的研究、结论与意义:该研究提出AME-Derm,即面向皮肤镜皮损分类的非对称解剖MoE框架,将大型通才与紧凑的解剖学专家通过静态定位路由器结合,并用验证集调优的融合权重;同时将病变分组、元数据代表性五折交叉验证和匹配种子提升为方法学贡献,并在独立BCN20000队列外部验证;另设数据驱动的视觉-语言模型(VLM)原型检索级联,仅对同时弱且可验证的罕见类启用。结论是AME-Derm在评估配置中取得最高五折平均macro-F1,超过单一通才和对称MoE(方向一致但幅度小),并在相同协议下超过PanDerm;通用DINOv2骨干单独也超过PanDerm;静态路由与可学习门控均值相同但方差更低;人工ABCD特征无可复现收益;外部队列存在明显域差,多种模型/输入干预不迁移,而VLM级联在三折外部验证中改善macro-F1并保留全部真血管类,无正确目标类被改判。意义在于强调严格病变分组评估可改变基础模型排序,并提供可复现的消融图与低成本罕见类校正模块。

关键技术方法:分类队列为HAM10000,外部验证为BCN20000;分割队列为ISIC 2018 Task 1、ISIC 2017、ISIC 2016和PH2,并保留ISIC 2018 Task 1测试分区。分类采用病变分组、类别×数据来源分层、匹配种子42的五折交叉验证。Phase-1集成SegFormer/MiT-B3、UPerNet/ConvNeXt和UNet++/ResNet50,经四视图翻转测试时增强(TTA)、引导滤波和最大连通分量(LCC)生成裁剪掩膜。Phase-2以DINOv2-Large为通才、DINOv2-base为解剖专家,经静态定位路由、六视图TTA和验证调优权重融合;VLM级联为训练免费门控原型检索;用安慰剂对照和噪声带判定增益。

研究结果:
3.1 分割(Segmentation):通过分割模型选择搜索和独立种子复跑,分割集成达到文中报告的Dice系数水平,种子42复跑与三随机种子均值接近,说明架构选择非初始化偶然;掩膜仅用于裁剪。
3.2 主要结果:AME-Derm消融阶梯(Main Result: The AME-Derm Ablation Ladder):在相同严格协议下逐项改变设计,macro-F1随裁剪多模态输入、匹配容量路由和尺度非对称而单调提高;AME-Derm取得最高五折均值,验证调优权重落在内部最优点,可学习门控未提高均值。
3.3 非对称专家容量(Asymmetric Expert Capacity):单折探针显示将全部专家放大到通才规模的全Large变体低于对称全base混合和AME-Derm,支持专家受小区域子集数据饥饿、非对称设计缓解容量-数据权衡,但该探针非五折结论。
3.4 骨干同质性与泛化差距(Backbone Homogeneity and the Generalization Gap):在数据最多的躯干区换入Swin专家虽验证分数更高,但测试下降更大,同质全DINOv2混合更优;Swin与DINOv2误差近冗余,Yule Q统计量(分类器误差一致性度量)显示缺乏互补性,说明验证驱动选骨干会选错。
3.5 最低F1类的类级分析(Class-wise Analysis on the Lowest-F1 Classes):黑色素瘤(MEL)与痣视觉重叠、光化性角化病(AKIEC)与良性角化病重叠,是最低F1类;放大通才提高MEL但AKIEC基本不变,总增益是多个小类增量平均而非单类修复。
3.6 与皮肤科基础模型的匹配协议比较(Comparison with a Dermatology Foundation Model Under a Matched Protocol):在匹配折和种子下,AME-Derm在单通才和全MoE两列均超过PanDerm;分解显示骨干增量大于路由增量,效应近似相加;尺寸匹配的单模型隔离中DINOv2五折全胜;该设计不隔离预训练数据、目标和架构因素。
3.7 统计显著性(Statistical Significance):AME-Derm对对称MoE的配对差异四/五折为正,均值小且置信区间含零,方向一致但统计证据有限;对PanDerm的配对差异五折全为正,符号检验p=0.031,是更稳健的结论。
3.8 MoE增益具有协议特异性(MoE Gains Are Protocol-Specific):在PanDerm自身单次、全图、仅图像设置下,解剖MoE低于单一DINOv2-Large,验证权重趋向零而回退到通才,说明MoE收益依赖严格裁剪多模态协议。
3.9 静态路由应优于可学习门控(Static Routing Should Be Preferred over a Learnable Gater):同协议下可学习逐图像门控未提高均值,反而增大折间方差和最差折,表现像在折间零和重分配,支持静态路由更可靠。
3.10 人工指定ABCD特征冗余(Manually Specified ABCD Features Are Redundant):用容量匹配安慰剂对照检验ABCD特征(不对称、边界、颜色、紧凑度)子集,几何和全描述子未超过安慰剂,颜色仅在折0有增益且折1不复制,按可复现增益标准判为条件冗余。
3.11 额外消融(Additional Ablations):原始颜色优于限制对比度自适应直方图均衡(CLAHE)加双边预处理;最佳单折高于五折均值,单折结果会高估性能,故以五折均值±标准差为主,单折仅作诊断探针。
3.12 推理延迟(Inference Latency):墙钟测量显示Phase-2每图成本为一个大通才加一个路由专家,不随解剖区总数增长;端到端包含分割有更高延迟,单精度约使延迟翻倍,未评估低功耗/边缘硬件。
3.13 严格评估改变结论(Rigorous Evaluation Changes the Conclusion):PanDerm在自身单次标签分层划分下与通用骨干相近或更高,但在病变分组五折下排序反转,DINOv2每折领先;说明单次划分和最佳折是乐观抽样,严格协议对基础模型比较必要。
4 外部独立队列验证(External Validation on an Independent Cohort):在BCN20000上性能下降,原因包括罕见类训练信号有限、重叠类持续混淆和折间估计方差;该队列皮肤纤维瘤(DF)和血管类(VASC)极少。
4.1 不迁移的干预杠杆(Levers That Do Not Transfer):白斑归一化、去暗角紧裁剪、局部专家、外部罕见类供给、多种子/多分辨率集成、焦点重加权和难例强调等均未超过噪声带或降低macro-F1;外部罕见类供给即使裁剪匹配也下降,说明跨队列罕见类外观差异。
4.2 验证级联的罕见类恢复(Rare-Class Recovery with the Verification Cascade):多种模型/数据干预失败提供饱和证据;按数据驱动规则仅血管类同时满足弱且VLM可验证;级联在三个外部折均提高macro-F1,保留全部真血管预测且每次拒绝正确,手调“拒绝蓝色病变”规则在第三折失败;增益随剩余假阳性数变化,符合门控级联命题;三折符号检验p=0.031,视为方向性证据和低成本可选模块。

讨论总结与研究结论翻译:讨论强调评估严谨性可决定结论:PanDerm在自身单次标签分层划分下较高,但在病变分组五折下降,而该协议病变干净且对所有模型一致,故差异反映协议敏感性而非泄漏;解剖核心优势绝对量小但方向一致,贡献主要在非对称容量原则、严格评估协议和受控消融图。研究结论翻译:该研究提出基于尺度非对称原则的AME-Derm,将全训练集大通才与小区专家结合;全Large探针较差;在病变分组、元数据代表性五折匹配种子协议下取得最高五折均值,超过单通才,并以方向一致但小的幅度超过对称MoE,也超过同协议PanDerm;通用基础骨干单独已超过PanDerm,但比较未隔离预训练数据、目标和架构。静态路由与可学习门控均值相同且方差更低,ABCD特征在容量匹配安慰剂下无复现收益。评估协议本身显示PanDerm在自身单次划分下较高、在病变分组五折下降,故建议比较皮肤镜基础模型时采用病变分组交叉验证,尤其当结论依赖小边际。外部BCN20000暴露域差,多种干预无复现改善,原型检索VLM级联在三外部折改善macro-F1并保留全部真血管,近零域内增益和更大外部增益支持其作为定向分布外校正。未来可用低秩适配(LoRA)比较器,并将类无关规则和级联用于其他弱但视觉独特类和模态;AME-Derm核心应视为HAM10000式域内专家而非通用跨模态基础模型。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号