描述符注意力专家混合模型（DA-MoE）用于多类胃肠疾病分类

《Frontiers in Oncology》：DA-MoE: descriptor-attention mixture-of-experts for multi-class gastrointestinal disease classification

　　

用于胃肠（GI）内镜的计算机辅助诊断（CADx）日益依赖在原始图像上进行端到端训练的深度模型。然而，在传统临床系统或隐私敏感的环境中，原始图像往往不可用。本工作是一项方法论研究，基于公共Kvasir基准上的预提取手工描述符进行多类GI疾病分类，而非临床验证的部署系统。研究人员提出了一种针对这种仅描述符场景定制的描述符注意力专家混合（DA-MoE）模型。DA-MoE首先将异构描述符（JCD、Tamura、ColorLayout、EdgeHistogram、AutoColorCorrelogram和PHOG）投影到共享标记空间中，并应用变换器风格的自注意力进行描述符级融合。随后，一个描述符感知的专家混合分类器在融合表示上执行样本自适应专家路由。在统一评估协议下，采用准确率（ACC）、宏F1和马修斯相关系数（MCC）作为指标，并通过五折分层交叉验证和重复随机划分进行稳健性评估，DA-MoE在保留测试集上取得了77.4%的准确率和0.75的MCC，优于包括残差多层感知器（Res-MLP）在内的强特征基线。消融研究、超参数分析、MoE路由可解释性、完整逐类指标和聚类分析进一步表明，DA-MoE在描述符嵌入空间中产生了更紧凑且分离更清晰的表示。这些发现支持DA-MoE作为数据共享约束下基于特征的GI CADx流程中的实用组件，但仍需在原始内镜数据上进行前瞻性验证。

论文解读：描述符注意力专家混合模型在多类胃肠疾病分类中的应用

胃肠道（GI）癌症，包括胃癌和结直肠癌，在全球范围内是癌症相关发病和死亡的主要原因之一。内镜检查是GI疾病筛查、诊断和监测的主要手段，但早期病变往往体积小、扁平且与周围黏膜对比度低，即使经验丰富的内镜医生也可能漏诊。为减少观察者间差异并支持实时临床决策，GI内镜的计算机辅助诊断（CADx）系统受到越来越多的关注。公共基准数据集如Kvasir提供了多类标注的解剖标志、炎症表现和肿瘤性病变，并同时提供了预提取的手工描述符，使原始图像无法共享或计算资源受限的场景下仍能开展特征级分类。

现有GI内镜分类方法主要分为两类：一类基于手工描述符，常将颜色布局、边缘直方图、自相关颜色相关图、Tamura纹理特征等拼接成单一向量，再输入传统机器学习模型，但这种方式隐含地将各描述符视为同等重要，忽略了跨描述符的相关性和互补性；另一类基于深度学习的CNN或Transformer模型，直接从原始内镜图像中学习表示，但依赖原始图像、大量算力及标注数据。在实际临床环境中，遗留系统或隐私限制常使原始图像不可用，仅保留预提取描述符。因此，如何在描述符空间中实现异构特征的有效融合，并针对不同GI类别视觉难度的差异实现样本自适应分类，成为两个亟待解决的相互关联的挑战。这一背景催生了本研究的开展。

针对上述问题，研究人员提出了描述符注意力专家混合（DA-MoE）模型，用于仅利用Kvasir预提取描述符的多类GI疾病分类。DA-MoE由三个模块构成：描述符投影与标记化（DPT）模块将异构描述符映射到共享潜在空间并组织为标记序列；描述符注意力融合（DAF）骨干采用变换器风格的自注意力编码器，通过一个可学习的[CLS]标记和位置编码将跨描述符交互聚合成紧凑的全局表示；描述符感知专家混合分类器（DAMoE-C）在该表示上设置多个MLP专家和门控网络，实现样本自适应的专家选择。三个模块以交叉熵损失联合端到端优化。在Kvasir数据集上，研究使用六个公开预提取描述符，所有方法共享相同的70%/15%/15%训练/验证/测试划分，并以ACC、宏F1和MCC为指标，结合五折分层交叉验证和五次重复随机划分进行评估。与线性SVM、RBF-SVM、kNN、AdaBoost、高斯朴素贝叶斯、浅层/深层MLP、残差MLP（Res-MLP）、自编码器加潜在MLP以及多任务MLP等特征基线相比，DA-MoE在保留测试集上取得了77.4%的ACC、0.76的宏F1和0.75的MCC，比最强的Res-MLP基线高出约3个百分点ACC和0.04 MCC。消融实验、可解释性分析和聚类分析进一步验证了模型设计的有效性。

整体比较显示，DA-MoE明显优于传统机器学习模型和神经网络基线，表明描述符交互建模与样本自适应专家路由的联合设计能够有效提升分类性能。鲁棒性评估方面，五折分层交叉验证和五次重复随机划分的结果一致显示DA-MoE优于Res-MLP，ACC约为0.77，说明性能提升并非偶然。消融研究对比了基线MLP、仅注意力、仅MoE和完整DA-MoE四种配置。仅加入注意力对ACC和MCC的提升有限，仅使用MoE时性能反而下降，门控分布接近均匀（平均熵1.31 nats，接近最大熵1.39 nats），说明缺乏结构化描述符融合时专家难以专门化。完整DA-MoE在所有指标上最优，证实描述符注意力与MoE路由是互补的。MoE路由可解释性分析发现，DA-MoE的门控熵为0.87 nats，专家使用不均匀，专家1偏向正常幽门，专家2偏向溃疡性结肠炎，专家3偏向息肉和染料染色发现，专家4偏向正常盲肠/Z线，表明模型学习到了有意义的样本级专家分配。超参数分析中，K=8、d=32在单次划分上ACC最高（78.17%），但重复划分下波动更大；K=4、d=64虽单次ACC略低（77.42%），但更稳定，故被选为默认配置。聚类分析显示，DA-MoE嵌入空间的K-means聚类纯度明显高于原始拼接特征，例如正常幽门一个簇的纯度达0.96，溃疡性结肠炎簇纯度达0.89；量化指标中，轮廓系数从0.081升至0.342，调整兰德指数从0.124升至0.418，归一化互信息从0.213升至0.521，t-SNE可视化也显示DA-MoE表示中类别簇更为紧凑和可分离。逐类分析表明，DA-MoE在多数类别上提升了精确率、召回率和F1，尤其是在息肉（F1从0.68升至0.73）和溃疡性结肠炎（F1从0.73升至0.77）这类更具临床意义的病变类别上改善明显；主要混淆仍存在于形态相似的正常标志之间。

研究人员指出，联合建模描述符交互和样本自适应专家路由优于单独使用任一机制，DA-MoE特别适用于仅提供预提取特征向量的遗留系统或隐私受限部署场景。但本研究存在若干局限：仅在一个公开数据集（Kvasir）上验证，未进行外部GI基准的验证；手工描述符可能缺少端到端模型可获取的细粒度空间上下文；未探索稀疏或层次化MoE设计；未利用内镜视频中的时序信息；实时部署还需进一步测试。研究结论为：研究人员提出了DA-MoE，一个基于预提取Kvasir描述符进行多类GI疾病分类的描述符注意力专家混合框架。通过将异构手工特征表示为标记、用变换器自注意力进行融合，并通过专家混合路由实现样本级自适应，DA-MoE在保留测试集上取得77.4%的准确率和0.75的MCC，显著超越包括Res-MLP在内的强特征基线。消融、鲁棒性、超参数、MoE可解释性、聚类、逐类和效率分析均支持该集成设计，同时清晰界定了本研究的描述符独有适用范围。未来工作将在更多GI数据集上验证DA-MoE，将其整合到图像级CNN-Transformer混合模型中，研究不确定性感知专家路由和隐私保护协作学习，并与内镜医生在临床工作流中进行前瞻性评估。