基于DARTS搜索的反馈增强状态空间模型的三维肺结节分类

《Computerized Medical Imaging and Graphics》：DARTS-Searched Feedback-Augmented State Space Model for 3D Pulmonary Nodule Classification

　　

• •
  DARTS用于寻找3D肺结节分类的最优状态空间模型。
• •
  DSSS通过采样增强多尺度融合。
• •
  淘汰（Knockout）技术加速搜索并减少模型截断误差。
• •
  FASSM通过堆叠反馈增强单元构建，以提升性能。
• •
  FASSM在LUNA16数据集上以仅8.59 M参数实现了93.22%的准确率。

引言

肺癌是一种常见且致命的疾病（Siegel等人，2024），在早期往往没有任何明显症状。肺结节是指肺组织中的异常增生，主要见于肺癌患者（Sharma等人，2024）。因此，定期筛查肺结节有助于早期发现潜在的肺癌病变。然而，手动识别CT扫描中的结节通常是一项耗时且繁琐的工作（Usman等人，2024）。计算机辅助诊断（CAD）通过提供第二意见并标注需要特别注意的医学数据区域，为医生提供了宝贵的帮助。我们的研究聚焦于使用CT扫描辅助诊断肺结节的良性或恶性性质。我们使用LUNA16数据集（Setio等人，2017），它是LIDC-IDRI的子集（Armato等人，2011），常用于肺结节分类任务。对LUNA16数据集的长期研究表明，它与MNIST、CIFAR-10和ImageNet等知名分类数据集存在显著差异。与这些数据集不同，LUNA16包含三维数据，而且在标注过程中，多名放射科医生评估结节特征并主观地对其"恶性概率"进行评分，这引入了固有的模糊性。肺结节在病理上可能比较细微，仅通过活检很难做出确定性诊断。例如，在CT引导的穿刺活检中，对小于2 cm的肺结节进行分类仍然具有挑战性（Andrade等人，2018）。我们将肺结节恶性分类视为一个概率问题。我们的目标是基于现有数据提供最准确的恶性概率，确保肺结节分类结果最为可靠。在追求最优模型的同时，我们也致力于揭示肺结节分类背后的原因，并在无法完全预测确切类型和进展的情况下，以能够辅助医生诊断的方式描述恶性概率。

构建大规模、数据丰富的肺结节数据库以及设计可解释的2D分类模型是肺结节分类研究的两个主要方向。我们的重点在于开发先进模型并将其应用于现有的肺结节数据集。正如Transformer模型的出现（Vaswani等人，2017）引发了自然语言处理（NLP）领域的一波研究热潮，推动了高质量数据集需求的增长并促进了更全面数据集的创建与共享一样，我们旨在引入序列模型来推动肺结节分类领域的发展。此外，由于我们使用的是基于序列的模型，而这类模型天然适用于序列数据，因此我们正在为未来用于肺结节分类的多模态方法奠定基础。状态空间模型（SSM）未来的潜力，与Transformer架构一样，在于其直接处理多模态数据的能力。

在常见的视觉序列分类模型中，Transformer被用作骨干网络来捕捉视觉数据中的复杂模式。与CNN相比，视觉Transformer（ViT）（Dosovitskiy等人，2021）由于整合了自注意力机制，能够实现全局感受野和动态预测权重，通常表现出更优越的建模能力。然而，自注意力机制也有一个缺点：其计算复杂度随输入规模呈二次方增长。相比之下，状态空间模型（Gu和Dao，2024）提供了一种高效的视觉数据建模方法，同时保留了自注意力机制的优点。SSM本质上是一种序列模型，最初由卡尔曼滤波器推广（Kalman，1963）。近期的研究如Mamba（Gu和Dao，2024）影响尤为深远，特别是HiPPO算子（Gu等人，2020），它通过将连续信号和离散时间序列投影到多项式基上实现了在线压缩。S4模型（Gu等人，2022）通过其初始化矩阵A能够捕捉长程依赖关系。Vim（Zhu等人，2024）是早期且最具代表性的视觉SSM模型之一，通过位置嵌入来融入空间信息。此后，VMamba（Liu等人，2024）结合了卷积和空间注意力机制，引入了交叉扫描模块（CSM），能够在二维图像空间内实现一维选择性扫描，同时保持全局感受野。然而，这些SSM并未针对三维图像应用进行专门设计，且其对卷积的过度依赖引发了对分类性能的担忧。

与传统注意力机制不同，Mamba允许在上下文中进行稠密的信息路由。在Mamba中，一维数组中的每个元素都通过压缩的隐藏状态访问上下文知识，这将二次方复杂度降低为线性复杂度。研究人员近期对Mamba架构进行了全面的研究（Chang等人，2025；Xu等人，2025；Zhang等人，2025）。受VMamba（Liu等人，2024）的启发，我们提出了可微分状态空间超图（DSSS），这是一种可微分的架构搜索方法，旨在识别由紧凑SSM组成的视觉骨干网络，以高效地进行3D肺结节分类。DSSS在降低注意力计算复杂度方面的有效性，很大程度上归功于Mamba中存在的选择性扫描机制，也称为选择性SSM（Gu和Dao，2024）。我们的贡献如下：

• 1.
  我们提出了可微分状态空间超图（DSSS），以高效搜索状态空间模型的最优视觉骨干网络。通过构建该超图，我们能够快速搜索各种状态空间表示的组合。这种方法不仅减少了计算资源需求，还确保了为3D肺结节分类任务识别出最合适的状态空间模型。
• 2.
  为了解决3D肺结节分类中的准确性挑战，我们提出了带输出反馈的3D解剖学扫描（3DAS-OF）。该方法通过利用多种扫描路径从不同角度分析相同数据来增强模型对独特特征的敏感性。我们简化了Mamba模块，仅保留SSM并引入输出反馈，这在测试的高状态（high-STATE）配置下提升了最终分类性能。新设计的模块称为SSMONLY。
• 3.
  我们使用采样技术将多尺度特征融合引入状态空间模型。多尺度状态空间模型（MSSM）使模型能够从各种尺度中提取有用特征，从而更全面地理解3D肺结节。
• 4.
  我们还提出了在超图训练方法中引入淘汰（KO）技术。该方法允许在每个搜索阶段设置不同的淘汰规则，从而加速模型搜索过程，同时将最终结果选择中的截断误差降至最低。

本文其余部分组织如下：第2节回顾相关工作，第3节介绍所提方法，第4节提供并分析实验结果，第5节总结全文。

章节摘要

相关工作

在对肺结节检测进行了大量研究之后，许多研究人员开始关注肺结节的分类。早期研究主要依赖二维卷积神经网络（CNN）对部分CT切片进行分类。然而近年来，越来越多的研究（Gu等人，2024）转向了三维CNN和更复杂的神经网络架构以提升性能。例如，Zhu等人（Zhu等人，2018）设计了两种深度三维CNN用于结节

方法

为实现对SSM模型的可微分搜索，我们设计了可微分状态空间超图（DSSS），如图1所示。针对3D肺结节，我们提出了解剖学扫描方法，将肺结节通过12种不同的扫描序列输入到独立的反馈使能SSM中。SSM的视觉尺度保持不变，而我们引入了一种采样技术以将多尺度特性融入超图。为高效寻找最优模型，我们实施了一种

实验

我们进行了一系列实验来验证所提方法并经验性地分析推理过程。在以下章节中，我们将概述实验设置并分析所得结果。

结论

在本研究中，我们提出了可微分状态空间超图（DSSS）用于自动3D肺结节分类。通过将有基于SSM的候选操作引入可微分架构搜索框架，DSSS搜索一种紧凑的三维状态空间骨干网络，而非依赖手工设计的架构。所提出的带输出反馈的3D解剖学扫描为肺结节表征提供了多种体素扫描序列，而SSMONLY

伦理标准遵循声明

本研究使用的是公开肺CT图像数据库，其中患者的个人信息已被移除。因此，无需知情同意。本文不包含任何涉及人类受试者或动物的研究。

基金资助

河北省自然科学基金（项目编号：F2025404013）；国家自然科学基金委（项目编号：62001255和62262048）；中央引导地方科技发展基金项目（项目编号：2025ZY0007、2021ZY0004和2022ZY0024）；内蒙古自治区青年科技人才支持计划（项目编号：NJYT23057、NJYT22074和NJYT23106）；内蒙古自治区自然科学基金（编号

CRediT作者贡献声明

陈梦：方法论。张保华：方法论。杨立冬：写作—审阅与编辑。刘鑫：验证。李建军：验证。汤思远：软件。郝娟：软件。崔俊杰：写作—初稿，软件。何群：验证。王满生：写作—初稿。顾宇：写作—审阅与编辑，写作—初稿。

利益冲突声明

作者声明本文为利益冲突方面不存在任何需要报告的情况。

利益冲突声明

作者声明不存在已知的可能影响本文所报告工作的竞争经济利益或个人关系。

崔俊杰 | 顾宇 | 王满生 | 陈梦 | 杨立冬 | 张保华 | 李建军 | 刘鑫 | 郝娟 | 汤思远 | 何群