DAE-Net：一种用于胃肠道肿瘤分类的具有病理感知多层级融合的双视图非对称提取网络

《TRENDS IN FOOD SCIENCE & TECHNOLOGY》：DAE-Net: A Dual-View Asymmetric Extraction Network with Pathology-Aware Multi-level Fusion for Gastrointestinal Tumour Classification

　　- 双流融合整合了纹理与结构线索。- PAAF实现了病理感知的跨视图特征融合。- HSSAE执行了频谱-空间与跨尺度融合。- DAE-Net提升了小目标与低对比度病灶的识别能力。- 大量实验在五个数据集上验证了其鲁棒性。## 引言胃肠道肿瘤仍然是全球癌症相关发病率与死亡率的主要原因[1]。医学影像可在内镜、组织病理学和计算机断层扫描中支持肿瘤筛查与疾病分类。然而，胃肠道病灶往往仅在颜色或组织结构上表现出细微变化。当图像存在弱对比度或采集伪影时，可靠判读变得困难。内镜图像可能包含镜面反射和残留黏液。组织病理学图像受染色差异和复杂组织背景的影响。胰腺CT图像可能包含边界欠清晰的小病灶。这些因素促使人们寻求能够同时建模外观与结构证据的自动分类方法。近年来，卷积神经网络（CNN）凭借局部连接与权重共享的核心优势，结合层次化特征提取能力，在各交叉领域持续展现出卓越的技术效能与实际价值。Litjens等指出，自深度学习兴起以来，CNN已在疾病检测、器官分割、图像增强等医学影像分析任务中取得突破性进展[2]。多分支与多尺度聚合架构通过在单阶段内并行化感受野并在层内进行选择性融合，来应对复杂背景带来的挑战。在胃肠道与腹部影像中，此类架构能够突出黏膜皱襞、血管模式、腺管开口模式（pit pattern）与肿瘤边界，从而协助临床医生区分良恶性息肉、评估异型增生分级并识别早期胃癌。尽管如此，仅靠局部卷积对于边界模糊或形态异质的病灶可能无法提供充分的上下文信息，其外观表示在光照变化与染色差异下也可能变得不稳定。基于Transformer的架构已被用于图像处理任务，能够通过自注意力机制有效捕捉图像内部的长程依赖关系。视觉Transformer（ViT）[3]作为首个将Transformer架构应用于图像分类的模型，在适配医学影像领域时发展迅速。在处理胸部X射线时，ViT模型借助其全局建模能力，更好地捕捉肺病灶与周围组织之间的空间关系，在COVID-19诊断任务中表现出更优性能[4]。然而，尽管具有这些优势，纯Transformer架构缺乏图像特有的归纳偏置（如局部性与平移不变性），这可能在某些医学影像任务中损害鲁棒性，尤其是在训练数据有限或不同中心的采集方案存在差异时。为克服这些局限，研究者提出了多种CNN-Transformer混合架构。一个代表性示例是MedViT，它将CNN的局部注意力与视觉Transformer的全局连通性相结合[5]。然而，现有架构在需要协调外观与结构表示时仍面临困难；对于小而低对比度的胃肠道病灶而言，跨特征尺度的自适应交互仍然至关重要。本文提出DAE-Net，一种用于胃肠道肿瘤分类的双视图非对称表示学习框架。DAE-Net从同一张RGB图像构造两个对齐的视图。RGB视图保留依赖颜色的外观与细粒度纹理。亮度-边缘结构视图对同一观测重新编码，以强调亮度连续性、局部梯度以及与病灶相关的结构过渡。由于结构视图完全由RGB输入派生，它不被视为一种独立的成像模态，而是提供具有不同归纳偏置的互补结构表示。这一设定使网络能够利用外观与结构证据，而无需将两个视图视为独立模态。胃肠道图像在光照、反射与染色方面往往表现出显著差异。这些差异可能削弱依赖颜色的特征，而部分局部结构信息仍相对保持稳定。为利用这些互补线索，DAE-Net对两个视图采用非对称特征提取。RGB分支使用更大的表示能力来建模异质化的外观模式。结构分支则聚焦于亮度过渡与局部形态信息。两者的特征随后被渐进式地整合，而非通过单次融合操作完成。分阶段动态门控使两个分支在早期即可交互；PAAF进一步建模更深层的跨视图依赖；HSSAE通过空间与频率建模细化融合后的表示；CCFM最后在分类前聚合跨特征尺度的语义信息。由此，DAE-Net在早期特征提取阶段保留了视图特有信息，并在更深的表示阶段引入更强的交互。本文的主要贡献总结如下：- 我们将胃肠道肿瘤分类问题形式化为双视图表示学习。RGB外观视图与由图像派生的结构视图提供互补表示，且不被视为独立模态。- 我们提出一种非对称提取策略以保留视图特有信息。两个分支依据各自的视觉特征采用不同的表示能力。- 我们构建了一个渐进式多层次融合框架，整合PAAF、HSSAE与CCFM，在不同表示阶段分别完成跨视图交互、频谱-空间细化与跨尺度聚合。- 我们在五个胃肠道影像数据集上评估了DAE-Net。大量实验证明其有效性、鲁棒性与表示互补性。## 章节摘要### 基于CNN的医学图像分类基于CNN的分类器在医学影像分析中仍被广泛使用，因为它们提供了较强的局部归纳偏置与层次化特征提取能力。Billah等将颜色小波描述子与CNN特征相结合用于胃肠道息肉检测[6]。ShuffleNet通过逐点分组卷积与通道混洗来减少计算量[7]。ShuffleNet V2进一步改善了精度与速度之间的实用平衡[8]。MobileNetV3结合深度可分离卷积与……（原文在此处截断）### 方法图1展示了DAE-Net的主要处理阶段。RGB分支保留颜色与纹理信息，结构分支则强调亮度连续性与局部梯度。两种输入均来自同一图像。网络采用渐进式融合而非单一的孤立聚合步骤：浅层分支特征通过动态门控进行组合，PAAF随后执行更深层的自适应交互，HSSAE引入空间与频率细化，CCFM完成跨尺度聚合（原文在此处截断）。### 实验设置**数据集。** 评估涵盖四个公开数据集和一个专有队列，包括组织病理学与内镜图像以及胰腺CT。各数据集的任务规模与类别分布差异显著，这种多样性支持了在多种胃肠道影像场景下的评估。1) 朝阳数据集[18]包含北京朝阳医院采集的6,160张结直肠组织病理图像，四个类别为正常组织与锯齿状病变，以及……（原文在此处截断）### 结论本文提出了用于胃肠道肿瘤分类的DAE-Net。该模型将RGB外观视图与由同一图像派生的亮度-边缘结构视图相结合，两个分支使用非对称提取器以保留不同的视觉线索；PAAF执行自适应融合，随后由HSSAE与CCFM细化表示。在五个数据集上的实验表明，在报告的评价协议下性能一致提升，重复进行的CDT评估显示该提升仍然……（原文在此处截断）### 数据可用性本研究中呈现的数据可向通讯作者申请获取。### 符合伦理标准本文不包含作者涉及人体或动物的任何研究内容。### 未引用图表图2，表9，表10### CRediT作者贡献声明**刘思瑶（Siyao Liu）：** 初稿撰写、验证、软件、方法论。**徐佳怡（Jiayi Xu）：** 初稿撰写、验证、软件、方法论。**毛佳熙（Jiaxi Mao）：** 初稿撰写、验证、软件、方法论。**王亚舟（Yazhou Wang）：** 验证、调查。**刘恒睿（Hengrui Liu）：** 验证、调查。**郭文远（Wenyuan Guo）：** 指导、项目管理、资金获取。**张永（Yong Zhang）：** 指导、项目管理、资金获取。**张玉明（Yueming Zhang）：** 审阅与编辑、项目（原文在此处截断）## 利益冲突声明作者声明不存在已知可能影响本文所述工作的竞争性经济利益或个人关系。作者：Siyao Liu、Jiayi Xu、Jiaxi Mao、Yazhou Wang、Hengrui Liu、Wenyuan Guo、Yong Zhang、Yueming Zhang