《Results in Engineering》：Efficient Bronchoscopy Image Triaging via Distilled Cascaded Deep Networks: A Lightweight Framework for Pulmonary Pathology Classification
编辑推荐：
本研究开发了一种级联DenseNet-121框架，用于将支气管镜图像分诊为正常、肺结核（tuberculosis, TB）和肺癌三类。知识蒸馏与基于NNI的架构优化使模型参数量减少54.1%，模型大小缩减54.1%，浮点运算量（FLOPs）降低14.6%。该两
本研究开发了一种级联DenseNet-121框架，用于将支气管镜图像分诊为正常、肺结核（tuberculosis, TB）和肺癌三类。知识蒸馏与基于NNI的架构优化使模型参数量减少54.1%，模型大小缩减54.1%，浮点运算量（FLOPs）降低14.6%。该两阶段分层策略先将正常与异常发现区分开来，再在异常图像中鉴别TB与肺癌。蒸馏后的框架实现了91.5%的准确率，而教师模型为90.5%，在重复的患者层面比较中未检测到统计学显著差异。压缩后的框架缩短了实测推理时间，并为未来在资源受限计算平台上的评估奠定了基础。
论文解读
一、研究背景与问题
肺癌和肺结核仍然是全球最具挑战性的两大健康问题。肺癌是全球癌症相关死亡的首要原因，其死亡人数超过乳腺癌、前列腺癌和结直肠癌的总和。2023年，美国预计新增肺癌病例238,340例，死亡127,070例。肺结核由结核分枝杆菌（Mycobacterium tuberculosis）引起，在COVID-19大流行之前是单一传染源导致死亡的首要原因，超过HIV/AIDS。肺癌与肺结核的鉴别诊断十分困难，因为两种疾病可能呈现相似的症状，包括持续性咳嗽、发热和体重减轻。此外，部分支气管内膜结核病变的支气管镜表现可能与恶性病变相似，进一步增加了临床评估的复杂性。
低剂量计算机断层扫描（low-dose computed tomography, LDCT）广泛用于肺癌筛查，但其相对较高的假阳性率可能需要额外的诊断程序来确诊。白光支气管镜（white-light bronchoscopy, WLB）被常规用于直接观察支气管内异常并获得组织样本进行组织病理学检查。尽管活检能为肺癌和肺结核提供确诊依据，但作为一种侵入性操作，它伴随出血等潜在并发症风险。因此，在侵入性操作之前提高诊断准确性是一个重要的临床目标。支气管镜下结核与肺癌病变在颜色、纹理和外观上存在显著重叠，这使得自动化分类尤为困难，也促使了稳健的深度学习方法在支气管镜图像分析中的发展。
现有研究中，Tan等人首次提出了针对这一三分类任务的深度学习框架，采用预训练的DenseNet-121模型进行序贯微调，肺癌、肺结核和正常病例的敏感性分别为87%、54%和91%。尽管该研究建立了重要基线，但相对较低的结核敏感性显示了使用传统单一三分类器区分结核与肺癌的困难。研究人员此前的研究提出了一种基于DenseNet-121并集成压缩激励（Squeeze-and-Excitation, SE）模块的多任务深度学习框架，采用两个任务特定分支，实现了90.6%的总体准确率。然而，鲜有研究关注在保持诊断性能的同时降低支气管镜图像分类模型的计算复杂度。本研究旨在通过结合级联分类策略、知识蒸馏和基于神经网络智能（Neural Network Intelligence, NNI）框架的自动化架构与超参数优化，获得一个计算效率更高的支气管镜图像分类框架。
二、研究内容与结论
本研究提出了一种基于DenseNet-121和知识蒸馏的级联计算机辅助诊断（computer-aided diagnosis, CADx）框架，将支气管镜图像分为正常黏膜、肺结核和肺癌三类。与使用单一三分类器不同，该框架采用两个序贯的二分类器：第一个分类器区分正常与异常支气管镜图像，第二个分类器仅对异常图像应用，以区分结核与肺癌。这种级联策略使每个分类器专注于更具体的二分类问题，并为区分视觉上相似的病理状况提供了分层框架。
研究数据集包含来自434名患者的515张支气管镜图像，包括81名正常受试者、76名肺结核患者和277名肺癌患者。所有来自同一患者的图像始终分配到同一数据分区，以防止患者层面的数据泄漏。评估采用患者层面的分层五折交叉验证。研究人员在预定义的患者层面训练/验证分区上使用NNI进化调优器（Evolution tuner）识别教师和学生模型的训练超参数以及学生模型的架构相关参数，所选配置随后固定用于整个五折交叉验证实验。
研究得出以下主要结论：蒸馏后的框架实现了91.5%的准确率，优于教师模型的90.5%；参数量减少54.1%，模型大小缩减54.1%，FLOPs降低14.6%；在重复的患者层面配对留出分析中，教师与学生模型准确率之间未检测到统计学显著差异；压缩后的框架缩短了实测推理时间，为未来在资源受限计算平台上的评估奠定了基础。
三、关键技术方法
研究人员采用的主要技术方法包括：基于DenseNet-121的级联二分类架构，将正常与异常分类和结核与肺癌分类分离为两个独立任务；知识蒸馏（knowledge distillation）技术，通过温度缩放（temperature scaling）的软概率分布将教师模型的知识迁移至轻量级学生模型，学生模型同时从真实标签和教师软预测中学习；基于NNI框架的进化算法（Evolution algorithm）进行自动化超参数与架构搜索，优化学习率、批大小、验证集划分比例、类别权重、蒸馏温度、损失项权重及第三密集块（Dense Block）保留层数等参数；学生架构通过移除第四个密集块并优化第三个密集块保留层数来构建。训练采用加权交叉熵损失（weighted cross-entropy loss）以应对类别不平衡问题，并使用Adam优化器。所有模型均使用ImageNet预训练权重初始化。
四、研究结果
4.1 教师模型与学生模型的分类性能
通过患者层面的分层五折交叉验证评估，蒸馏后的级联框架实现了91.5%的总体准确率，而教师模型为90.5%。在重复的患者层面配对留出分析中，教师与学生模型之间的准确率差异未达到统计学显著水平，表明知识蒸馏在显著压缩模型规模的同时保持了分类性能。
4.2 模型复杂度与计算效率
知识蒸馏与NNI架构优化使模型参数量减少54.1%，模型大小缩减54.1%，FLOPs降低14.6%。压缩后的框架缩短了实测推理时间，证明了其在计算效率方面的优势，为未来在资源受限的临床CADx环境中的部署提供了基础。
4.3 级联策略的有效性
两阶段分层策略先将正常与异常发现区分开来，再在异常图像中鉴别结核与肺癌。该设计使每个分类器专注于更简单的二分类决策问题，能够独立优化每个阶段，并提供了可扩展的灵活框架，未来可纳入更多疾病特异性分类器。
4.4 类别不平衡处理
数据集天然不平衡，肺癌图像数量显著多于正常和结核图像。研究人员采用类别加权交叉熵损失（class-weighted cross-entropy loss）应对这一问题，类别权重系数通过NNI超参数搜索优化。
五、讨论与结论
5.1 讨论总结
本研究的意义在于证明了通过结合级联分类策略、知识蒸馏和NNI自动化优化，可以在不牺牲分类性能的前提下显著降低支气管镜图像分类系统的计算复杂度。与以往侧重于提高诊断准确性的研究不同，本研究聚焦于模型压缩与计算效率，填补了该领域的研究空白。级联架构相比单一三分类器具有优势，因为每个二分类器可以专注于更简单的决策边界，特别是对于视觉上高度相似的结核与肺癌病变。知识蒸馏使学生模型能够从教师模型的软概率分布中学习类别间的关系信息，从而在显著减少参数量的情况下保持甚至提升分类性能。NNI进化算法有效地在预定义的搜索空间中识别了最优的学生架构和训练配置，避免了手动设计轻量级网络的经验性尝试。
5.2 研究结论翻译
本研究提出了一种级联CADx框架，通过结合两个独立训练的基于DenseNet-121的二分类器用于支气管镜图像分类。知识蒸馏应用于级联框架的两个阶段，结合基于NNI的架构和超参数优化，在保持分类性能的同时降低了计算复杂度，在重复的配对留出分析中未检测到教师与学生准确率之间的统计学显著差异。参数量、模型大小、FLOPs和实测推理时间的减少证明了压缩框架在所评估硬件条件下的计算效率，并为未来在资源受限部署平台上的评估提供了动机。
