轻量级深度学习架构在肺癌CT分类中的效能评估与临床部署潜力分析

本综述系统评估了MobileOne-S0、FastViT-S12及MambaOut-Femto等新兴轻量级模型在肺癌CT影像分类中的表现，揭示其在保持高精度（AUC达0.972）的同时显著降低计算资源需求（参数量<10M，推理时间<30ms），为资源受限临床环境提供了可部署的AI解决方案（CAD系统），推动深度学习在医学影像中的实际应用。

　　

引言

肺癌是全球癌症相关死亡的最常见原因，其中腺癌（ADC）和鳞状细胞癌（SCC）占病例的85%以上。人工智能（AI）和计算机辅助诊断（CAD）系统的整合彻底改变了癌症诊断，从传统影像组学迈向复杂深度学习方法。尽管深度学习算法在自动特征检测和多病灶跟踪方面表现出卓越能力，但临床实践仍面临高计算需求、系统集成复杂性、结果可解释性及可重复性等挑战。隐私法规导致的数据可用性限制、缺乏标准化实施协议以及与临床工作流程整合的困难进一步阻碍了这些技术的广泛应用。

近年来，轻量级架构的进展为解决这些挑战提供了有前景的方案。轻量级卷积神经网络（CNNs）如MobileOne、TinyNet、LCNet和GhostNetV2通过优化网络缩放、高效推理和硬件特定加速，适用于资源受限环境。类似地，高效变换器如EfficientFormer、RepViT、FastViT和Mamba通过创新设计和混合方法解决了内存和计算限制，提供了高效率和性能增益。先前研究已展示轻量级架构在医学影像中的成功应用，特别是在肺癌分类和检测方面。例如，Attallah等人（2022年）提出了一个使用轻量级深度学习模型和变换方法的肺和结肠癌诊断框架，实现了99.6%的高精度。Priya和Shyamala Bharathi（2024年）证明基于深度学习的预训练模型EfficientNet在使用CT影像进行肺癌检测和分类时实现了99.28%的训练精度和98.03%的测试精度。Cao等人（2023年）开发了一个多尺度移动基础模型，该模型在保持更轻量架构的同时实现了可比或更优的性能。这些研究突显了轻量级模型在保持高诊断精度的同时降低计算复杂性的潜力。

尽管深度学习架构快速发展，医学影像中的临床采用仍限于已建立模型，而近期轻量级架构在医疗应用中大多未被探索。这造成了研究创新与实际临床实施之间的关键差距。医疗机构需要基于证据的比较数据来指导技术采用决策，特别是在计算效率至关重要的资源受限环境中。本研究旨在为三种近期开发的轻量级预训练模型——MobileOne-S0、FastViT-S12和MambaOut-Femto——建立全面的基线性能指标，这些模型在医学影像应用中受到有限关注。我们系统比较它们在肺癌CT扫描影像分类中的效率和性能，为临床部署决策提供基于证据的指导。

材料与方法

模型选择

本研究全面探索了符合轻量级标准、2023年或之后发布、具有预训练权重、且架构在医学影像分类中未充分应用或从未应用的轻量级预训练模型， specifically for肺癌CT扫描影像分类任务。选择过程涉及对多种深度学习库中可用预训练模型的全面搜索，包括Keras、PyTorch的timm和Huggingface。为识别合适候选，我们采用手动排序和AI辅助工具编译符合预定义标准的模型列表。随后，我们使用Google Scholar和PubMed进行了广泛文献回顾，结合模型名称和相关关键词如“肺癌”、“分类”和“CT扫描”。这一彻底搜索过程使我们能够识别三种有前景的轻量级架构进行深入检查：MobileOne、FastViT和MambaOut。

对于每个选定架构，我们选择使用最小的近期变体，因为这些通常展示出更优的性能特征。因此，选择了以下特定模型版本用于研究：MobileOne-S0、FastViT-S12和MambaOut-Femto。我们定量定义了“轻量级”模型使用两个关键标准：参数数量<10M和激活内存<15M。尽管MobileOne-S0因其卓越的参数效率略超激活阈值，这些阈值基于模型卡规格建立，代表了在内存和处理能力可能受限的资源有限临床环境中部署的实际计算约束。这一定义指导了我们系统选择每个架构系列中最小的可用变体。选定模型符合我们的轻量级标准，MobileOne-S0包含5.3M参数和15.5M激活，MambaOut-Femto具有7.3M参数和8.3M激活，FastViT-S12具有9.5M参数和13.7M激活。为 contextualize这些选择，即使最小的可用变换器变体（SwinV2-tiny）也包含28M参数和28.5M激活，近乎双倍于我们的轻量级阈值，展示了我们选定架构在临床部署场景中的计算效率优势。

数据集

数据集1是来自机构1的私有数据集，贡献了274个病例（936张影像），一个非增强CT数据集，包含119个病例（377张影像）的腺癌（ADC）、93个病例（357张影像）的良性病变和62个病例（200张影像）的鳞状细胞癌（SCC）。

数据集2：来自Zenodo（Jian等人，2024年）的公共数据集贡献了95个病例（308张影像），包含172张ADC影像、103张良性影像和33张SCC影像。

跨数据集验证设计

为评估模型在不同成像协议和患者群体中的泛化性，每个数据集使用 distinct CT扫描仪配置获取，代表了不同机构实践。数据集1（机构1）使用Siemens Definition AS+（128层和64层）扫描仪与标准化协议，而数据集2（Jian数据集）整合了多个制造商（GE、Siemens、UIH）具有 varying 层配置和卷积核（B70f、B60f）。

影像处理

对于数据集1，在3D Slicer中预处理DICOM影像涉及将影像重采样至1mm厚度与512x512像素分辨率，并调整窗设置至肺特定参数（宽度-600至1500 HU），然后生成代表每个结节不同位置的2D影像保存为PNG格式。

数据集2直接从Zenodo存储库以BMP格式影像获取。

相同增强协议应用于两个数据集以确保一致性，包括随机水平翻转（概率=0.5）、随机旋转（±15度）、颜色抖动（亮度=0.2、对比度=0.2、饱和度=0.2、色调=0.1）、调整大小至224×224像素（FastViT-S12为256×256）和ImageNet标准化（均值=[0.485, 0.456, 0.406]，标准差=[0.229, 0.224, 0.225]）。

模型架构与训练

在实验中，我们采用了MambaOut femto、mobileone-s0和FastViT-S12模型架构与预训练权重，为我们的特定任务进行了微调。

对于数据准备，影像被组织到数据集目录内的子文件夹中，每个子文件夹代表一个类别。

使用保留方法（70%训练、15%验证、15%测试分割）系统评估了八种超参数配置。配置在批量大小[16, 32]、丢弃率（0.3, 0.5）、优化器（AdamW, RAdam）和权重衰减（0.01, 0.1）上变化，同时保持固定学习率（0.0001）。每个配置独立训练，验证AUC用于训练期间的早停和学习率调度。在单独训练所有八种配置后，选择实现最高测试集性能指标的配置，并随后一致应用于所有5折交叉验证实验，无需在 individual 折内进一步调优。

在第二个实验中，我们使用了分层5折交叉验证以确保跨折的平衡类别分布，每折进一步分割为训练（80%）和验证（20%）集，以及来自剩余折的单独测试集。第一个实验中确定的最佳配置用于所有折。

两个实验都采用了基于验证AUC的早停标准（耐心10轮，最小增量0.001）并利用了ReduceLROnPlateau学习率调度器（因子0.1，耐心5轮）。每个配置或折训练最多100轮。评估指标包括AUC（主要指标）、准确度、召回率、特异性和每类指标。第一个实验旨在基于验证AUC识别最佳超参数配置，而第二个实验侧重于通过交叉验证进行鲁棒性评估，报告跨折的平均指标及标准差。结果可视化包括学习曲线、ROC曲线和混淆矩阵以进行全面性能评估。

每个数据集使用保留方法进行模型优化和5折交叉验证独立训练和验证，性能指标单独报告。这一方法提供了在不同扫描仪供应商、采集协议和患者人口统计学下的跨域性能稳健评估，展示了模型超越单机构数据的泛化性。

所有实验使用随机种子42以确保跨数据集分割、模型初始化和训练过程的可重复结果。

与其他模型的基准测试

使用数据集1，输入尺寸为224×224用于大多数模型和256×256用于FastViT-S12，数据集使用随机分割与固定种子（1011）分为训练（70%）、验证（15%）和测试（15%）集以确保可重复性。每种配置使用不同随机种子（42, 456, 789, 1011, 2025）跨独立实验运行训练五次，启用具有95%置信区间的统计分析。所有模型使用固定配置训练以确保公平比较，特征为批量大小16、丢弃率0.3、AdamW优化器与权重衰减0.1、学习率0.0001。我们采用了相同的早停标准（基于验证AUC的耐心10轮，最小增量0.001）和ReduceLROnPlateau调度器（因子0.1，耐心5轮）。使用混合精度训练以提升效率。

我们比较了七种架构，包括MobileOne-S0、MambaOut-Femto、FastViT-S12、EfficientNet-B0、ResNet-50、ViT-Tiny和SwinV2-CR-Tiny，所有模型使用预训练权重初始化并为任务微调。

全面效率指标

为符合便携设备临床部署需求，我们实施了全面能耗分析，包括使用pynvml库进行GPU功耗监控以进行实时瓦特测量，使用ptflops进行FLOPs计算以评估计算复杂性，当ptflops不可用时使用后备近似方法，以及通过适当缓存管理和峰值分配跟踪增强内存分析。

所有效率测量使用适当GPU内存隔离进行，使用torch.cuda.empty_cache()和torch.cuda.reset_peak_memory_stats()以测量真实峰值分配。推理计时包括20轮预热后跟100轮测量与GPU同步以进行准确延迟评估。统计分析跨所有实验运行进行，指标报告为均值±标准差与95%置信区间。

在Google Colaboratory云平台上的Tesla T4 GPU（16GB VRAM）上进行全面能耗分析，实现了跨架构计算需求的公平比较。相对效率排名为在计算约束部署场景中的模型选择提供了指导。

模型可解释性可视化

在确定最佳性能模型后，对每个类别（腺癌、鳞状细胞癌和良性）的随机病例进行了额外可视化分析，以展示模型如何做出诊断决策。跨多个网络层的初步测试识别出stage1.blocks.0.conv作为显示AI注意力模式与病理特征间最强对应性的最佳层。使用PyTorch钩子的自定义激活提取器捕获此选定层的特征响应。激活图归一化至[0,1]范围并使用三面板格式可视化：原始CT扫描、激活热图和叠加可视化。所有可视化使用Matplotlib、OpenCV和NumPy库生成。

软件与库

所有实验在Python 3环境中实施，使用Google Colaboratory云平台连接到Tesla T4 GPU（16GB VRAM）。

实施使用了PyTorch框架与timm库用于预训练模型架构，torchvision用于数据变换，scikit-learn用于评估指标，NumPy用于数值计算，Matplotlib用于可视化，pandas用于数据管理和结果分析，以及Seaborn用于增强统计可视化。

结果

效率指标与常见模型的基准测试

在轻量级架构中，当在相同超参数和数据集上测试时，MambaOut-Femto展示了卓越性能，准确度为91.06 ± 1.85%（95% CI [88.77-93.36%]）和AUC为98.06 ± 1.17%（95% CI [96.61-99.51%]），显著 outperformed 传统架构。相比之下，ResNet50尽管广泛临床采用和23.51M参数，仅实现72.34 ± 3.65%准确度（95% CI [67.81-76.87%]）和88.70 ± 2.28% AUC（95% CI [85.86-91.53%]），代表与MambaOut-Femto相比18.72%的准确度赤字。类似地，SwinV2-CR-Tiny具有27.57M参数，显示失望性能，准确度70.21 ± 9.30%（95% CI [58.66-81.76%]）和AUC 86.18 ± 6.11%（95% CI [78.60-93.77%]）。

效率指标，包括推理时间、参数数量和内存使用，在所有模型中进行了比较。如图所示 Figure 1 和详述 Table 1，

关于3种轻量级模型的计算效率，MambaOut-Femto展示了最快推理时间（7.85 ± 1.47 ms, 95% CI [6.02-9.68 ms]）与中等GPU功耗（43.43 ± 2.43 W, 95% CI [40.41-46.44 W]）和6.15M参数。MobileOne-S0尽管具有最少参数（4.27M）和最低内存使用（59.6 ± 0.1 MB），需要最长推理时间（29.03 ± 5.47 ms）但消耗最少GPU功耗（36.16 ± 1.06 W, 95% CI [34.84-37.48 W]）。FastViT-S12展示了平衡的计算需求，推理时间12.32 ± 1.84 ms和GPU功耗41.03 ± 1.90 W，尽管需要更多参数（8.45M）和内存（188.2 ± 1.0 MB）。

额外轻量级模型比较揭示了MambaOut-Femto的优越性。与EfficientNet-B0相比，MambaOut-Femto实现了相似准确度（91.06 ± 1.85% vs. 90.78 ± 2.41%）与更快推理（7.85 ± 1.47 vs. 10.19 ± 1.40 ms, 95% CI [6.02-9.68] vs. [8.46-11.93]）但更高GPU功耗（43.43 ± 2.43 vs. 35.88 ± 2.38 W, 95% CI [40.41-46.44] vs. [32.92-38.84]）。与ViT-Tiny相比，MambaOut-Femto展示了优越准确度（91.06 ± 1.85% vs. 82.41 ± 4.06%, 95% CI [88.77-93.36] vs. [77.38-87.45]）和可比GPU使用（43.43 ± 2.43 vs. 42.95 ± 3.49 W）。

FLOPs分析展示了轻量级架构中的卓越效率。MambaOut-Femto、MobileOne-S0、EfficientNet-B0和ViT-Tiny all required 最小计算资源在0.010 GFLOPs，而FastViT-S12 needed 0.020 GFLOPs。传统架构展示了显著更高的计算需求，ResNet50 requiring 0.050 GFLOPs和SwinV2-CR-Tiny demanding 0.060 GFLOPs，代表与轻量级模型相比5-6倍 higher 计算开销。

通过分层5折交叉验证的模型性能

使用单一超参数配置和最佳超参数调优与5折分层交叉验证跨两个数据集进行了性能评估。在最佳配置与分层交叉验证下，MambaOut-Femto一致展示了跨两个数据集的卓越性能。在数据集1上，MambaOut-Femto实现了最高准确度（89.62 ± 1.38%, 95% CI [87.90-91.33%]）、精确度（91.23 ± 1.12%, 95% CI [89.84-92.62%]）、召回率（91.21 ± 1.16%, 95% CI [89.77-92.65%]）、F1分数（91.19 ± 1.17%, 95% CI [89.74-92.64%]）、特异性（94.31 ± 0.76%, 95% CI [93.37-95.25%]）和AUC（97.20 ± 0.49%, 95% CI [96.59-97.82%]），同时保持最低损失（0.2784 ± 0.0373, 95% CI [0.2321-0.3248]）。

在数据集2上，MambaOut-Femto保持了其卓越性能，准确度91.57 ± 4.45%（95% CI [86.04-97.10%]）、精确度91.86 ± 5.07%（95% CI [85.56-98.16%]）和AUC 96.80 ± 1.88%（95% CI [94.47-99.13%]）。MobileOne-S0展示了跨两个数据集一致但略低的性能，而FastViT-S12展示了可比结果与略高的变异性。

Table 2 总结了使用三种模型对最终测试集的5折交叉验证性能指标的均值、标准差和95%置信区间，跨所有折平均为两个数据集。MambaOut-Femto在准确度、精确度、召回率、F1分数、特异性和AUC方面一致 outperformed 其他模型。

来自两个数据集5折交叉验证测试集的微平均ROC曲线如图所示 Figure 2。结果表明MambaOut-Femto实现了最高AUC， followed by MobileOne-S0和FastViT-S12。

Figure 3 呈现了来自5折交叉验证测试集的MambaOut-Femto、MobileOne-S0和FastViT-S12的平均混淆矩阵。矩阵突出了模型在分类ADC、良性病变和SCC中的性能，MambaOut-Femto展示了最佳整体分类性能。

混淆矩阵展示了跨所有三个类别（ADC、SCC、良性）的平衡分类性能，无多数类别偏差证据。

结果表明MambaOut-Femto是用于肺癌CT扫描影像分类的最有前景的轻量级架构，提供了性能与效率间的平衡。MobileOne-S0和FastViT-S12也展示了强大性能，突显了它们在医学影像分类任务中的潜力。MambaOut-Femto的卓越效率和性能指标使其成为医学影像中实际应用的合适选择。

最佳模型可视化分析

Figure 4 通过每个诊断类别的激活可视化展示了最佳性能MambaOut-Femto模型的可解释性。状态空间模型展示了 distinct 激活模式：恶性病变（ADC和SCC）展示集中、高强度激活区域，而良性病例显示分布式、低强度模式，确认了临床相关特征学习。

讨论

近期深度学习，特别是使用基于变换器的模型，在肺癌分类任务中展示了卓越性能，如Chen等人（2024年）使用体积SWIN变换器展示了显著进展，在区分良性结节、腺癌和鳞状细胞癌中实现了98.88%准确度。然而，这种方法因其3D体积处理性质需要大量计算资源。当与近期基于变换器的方法如Huang等人的TBFE模型和Cao等人的多尺度MobileViT相比时，所提出模型实现了可比或更优性能同时保持更轻量架构。这种性能与效率间的平衡对于临床整合特别相关，其中计算资源可能有限。

本研究结果展示了轻量级预训练模型用于肺癌CT扫描影像分类的潜力。在所评估模型中，MambaOut-Femto作为最有前景的架构出现，提供了性能与效率间的平衡。本节讨论这些发现在该领域近期进展和挑战背景下的意义。

MobileOne-S0和FastViT-S12也展示了强大性能，突显了它们在医学影像分类任务中的潜力。然而，FastViT-S12具有最高内存使用和相对较高的推理时间，这可能限制其在资源受限环境中的适用性。

当与该领域其他研究相比时，这些模型的性能具有竞争力。例如，Attallah等人提出了一个使用ShuffleNet、MobileNet和SqueezeNet模型结合特征缩减技术的框架，实现了99.6%的高准确度。类似地，Priya A & Shyamala Bharathi P 使用EfficientNet模型实现了99.28%训练准确度和98.03%测试准确度。当前研究的发现与这些结果一致，表明轻量级模型确实可以实现高诊断准确度。

本研究中评估模型的效率指标特别值得注意。MambaOut-Femto展示了最高效率，具有低推理时间和少量参数。这对于实时应用和大数据集是有利的。相比之下，Klangbunrueang等人发现虽然VGG16实现了98.18%的测试准确度，但它需要比更轻模型如MobileNetV2更多的计算资源。当前研究对效率的关注突显了在资源受限环境中部署这些模型的潜力。

在我们的研究中，FastViT在肺癌CT扫描影像分类中展示了优于SwinV2-tiny和ViT-tiny的性能。这与Ko等人的发现一致，他们评估了FastViT与其他视觉变换器模型用于胸部X光影像中的肺病检测。

在Ko等人的研究中，FastViT在不平衡数据集上使用NAdam优化器实现了97.63%的准确度。当在我们的研究中直接与SwinV2-tiny和ViT-tiny比较时，FastViT展示了更高的测试准确度（0.9078 ± 0.0112）比SwinV2-tiny（0.7021 ± 0.0930）和ViT-tiny（0.8241 ± 0.0406）。FastViT还展示了在性能与效率指标如推理时间和内存使用间更好的平衡。

在当前研究中，MobileOne在肺癌CT扫描影像分类中展示了令人印象深刻的性能，实现了0.8752 ± 0.0282的测试准确度和AUC。虽然这略低于EfficientNet-B0的0.9078 ± 0.0241，MobileOne显著 outperformed 传统CNN模型如ResNet-50，后者仅实现0.7234 ± 0.0365。MobileOne的独特之处在于其能够以与EfficientNet-B0可比的参数数量（4.27M vs. 4.01M）和GPU功耗使用（36.16 ± 1.06, 35.88 ± 2.38 W）实现这一性能，但内存使用显著更低（59.6 ± 0.1 vs. 215.8 ± 1.0 MB）。这使得MobileOne成为在CNN任务中平衡性能与效率的强大选择，特别是在内存资源受限的场景中。模型最初为移动和边缘设备设计，很好地转化为医学影像任务，提供了传统CNN架构的可行替代方案。

Mamba模型，于2023年底推出，在医学影像中显示了用于肺癌检测的巨大潜力。自那时起，开发了几种变体：

-MedMamba展示了用于胸部CT影像中肺癌检测的高准确度和低计算复杂性，即使无需大量预训练。

• ?

  CT-Mamba有效减少了低剂量CT影像中的噪声，同时增强了细节保留。

• ?

  Mamba网络通过整合深度可分离卷积和空间金字塔池化等技术改善了肺结节检测。

当前研究中使用的MambaOut模型与这些变体相比提供了一个关键优势：它受益于大型ImageNet数据集上的预训练权重。这使其能够为特定医疗任务微调而无需从头训练，节省计算资源和时间。预训练权重使MambaOut能够更好地泛化并更快适应肺癌CT扫描中的特征，使其在效率和准确性至关重要的临床整合中高度适合。

来自计算机视觉的近期轻量级架构展示了显著的效率增益，但它们在医学影像中的潜力仍然 largely 未被开发。本研究证明近期开发的模型为临床部署提供了 distinct 优势：MambaOut-Femto以最佳推理速度实现卓越准确度，MobileOne-S0提供最参数高效的解决方案，而FastViT-S12跨指标提供平衡性能。通过建立这些基线比较，我们为医疗决策者提供了基于经验的证据，以根据其特定计算约束和性能要求选择适当模型。

然而，几种模型配置间重叠的置信区间突显了在声称临床优越性前进行统计验证的重要性。虽然改进是一致的，但它们通常落在Picard（2021年）识别的种子诱导变异性范围内，强调了在医学影像应用中进行严格统计分析的必要性，其中错误结论具有高风险。

本研究有几个限制值得考虑。首先，模型对其他医学影像数据集或不同类型癌症的泛化性不确定，因为研究仅专注于肺癌CT扫描。在多样医学影像数据上的进一步验证对于评估模型的更广泛适用性是必要的。其次，虽然模型展示了强大的性能指标，它们在现实世界设置中的临床适用性需要进一步调查。将这些模型整合到现有临床工作流程中并评估它们在实际场景中对诊断结果的影响是必要的。第三，本研究中呈现的可解释性分析主要是定性的，依赖于随机选择病例的激活模式视觉检查，无需定量验证指标。虽然Grad-CAM可视化提供了对模型注意力模式的见解，但我们未执行定量定位评估如指向游戏分数或与专家注释的交并比计算。第四，虽然放射科医生注释可用于选定病例，但未进行模型注意力模式与专家注释间的定量相关性分析。第五，相对较小的样本量（公共数据集n=95，私有数据集n=274）可能限制泛化性并带来过拟合的潜在风险，尽管有交叉验证措施。最后，切片级数据分区可能导致乐观性能估计，由于来自同一患者的相邻切片间的潜在相关性，因为来自同一患者的切片可能出现在训练和测试集中。虽然这种方法遵循了该领域的既定实践并平等影响所有比较模型，但它可能限制绝对性能指标对完全独立患者群体的泛化性。

未来研究应专注于通过技术如显著性映射或注意力机制增强这些模型的可解释性，以及模型注意力与专家注释间的定量相关性指标与评估者间一致性评估。实施定量定位指标如指向游戏分数、交并比计算和注意力定位准确性的敏感性/特异性措施。这需要通过专家放射科医生注释建立地面真相，使用多位读者和标准化注释协议进行正式评估者间一致性评估。

此外，探索这些轻量级模型与先进技术的整合，如联邦学习或边缘计算，可以进一步增强它们在资源受限环境中的性能和适用性。扩展研究以包括多模态影像数据并在更大队列上验证这些发现，如国家肺癌筛查试验（NLST）和肺影像数据库联盟（LIDC）数据集，以确保稳健泛化。当数据集提供患者级注释时实施患者级分割以确保训练和测试集间的完全独立性。此外，在具有患者级分区的更大、更多样数据集上的验证将提供临床设置中模型性能的更稳健估计。

此外，评估模型在不同类型癌症和医学影像模态上的性能将拓宽它们在医疗领域的潜在影响。

结论

总之，这项工作表明了轻量级预训练模型用于肺癌CT扫描影像分类的效率。MambaOut-Femto作为最有前景的设计出现，提供了性能与效率间的卓越平衡。这使其成为医学影像中实际应用的绝佳替代方案，特别是在处理资源受限的情况下。MobileOne-S0和FastViT-S12也展示了强大性能，证明了它们在医学影像分类任务中的潜力。结果与早期研究一致，证明轻量级模型可以实现出色的诊断准确性，同时最小化计算复杂性。总体而言，这些发现暗示轻量级模型具有显著