利用高光谱成像和深度学习技术在微流控SACA芯片系统上自动实现循环肿瘤细胞和白细胞的无标记分类 吴顺志（Shun-Chi Wu）、 邱俊楠（Jon-Nan Chiu）、 陈毅文（Yi-Wen Chen）、 洪陈熙（Chen-Hsi Hung）、 欧扬莽（Mang Ou-Yang） 以及曾凡刚（Fan-Gang Tseng）

《Micromachines》：Automated Label-Free Classification of Circulating Tumor Cells and White Blood Cells Using Hyperspectral Imaging and Deep Learning on Microfluidic SACA Chip System Shun-Chi Wu, Jon-Nan Chiu, Yi-Wen Chen, Chen-Hsi Hung, Mang Ou-Yang and Fan-Gang Tseng

　　摘要 循环肿瘤细胞（CTCs）是癌症预后的关键生物标志物，但由于其极低的丰度和生物学异质性，为无标记检测带来了重大挑战。本研究提出了一个自动化、非侵入性的分类框架，该框架结合了自组装细胞阵列（SACA）微流控芯片、高光谱成像（HSI）和深度学习技术。通过利用SACA芯片的5微米间隙设计，患者来源的血液样本被组织成平坦的单层结构，从而通过最小化细胞重叠来确保高纯度的光谱采集。我们实现了两个深度学习流程：一个是基于注意力的自适应光谱-空间核ResNet（A2S2K-ResNet）用于像素级特征提取，另一个是修改版的ResNet50用于结构图像分析。虽然光谱分类对培养的细胞系的识别准确率达到了约80%，但由于与白细胞（WBCs）之间的微妙光谱重叠，其在患者来源的CTCs上的性能受到了限制。为了克服这一问题，我们开发了一种多波段集成策略，采用七个优化光谱带（470–900纳米）上的多数投票方法。这种混合方法显著提高了检测的鲁棒性，总体准确率超过93.5%，精确度超过92%。这些结果表明，将微流控空间控制与多波段深度学习相结合，为临床液体活检和实时癌症监测提供了一种可靠的、无标记的解决方案。

1. 引言 循环肿瘤细胞（CTCs）是从原发实体肿瘤中脱落、进入血液并迁移到远端部位的癌细胞[1]。作为理解肿瘤生物学和疾病进展的关键生物标志物，CTCs为早期癌症诊断以及治疗监测和预后提供了有价值的信息。它们的检测能够在疾病进展到严重阶段之前及时进行临床干预，有可能改善患者的预后[2]。此外，CTCs计数的变化是治疗反应的宝贵指标，有助于临床医生据此调整治疗策略[3,4,5,6,7]。重要的是，CTCs检测为癌症监测提供了一种非侵入性的选择，特别是对于那些不能承受重复侵入性操作的患者。 在包括乳腺癌和前列腺癌在内的多种恶性肿瘤中，CTCs计数已被确认为一个独立的预后因素，CTCs计数与治疗结果密切相关[3,4,5]。在肺癌患者中也观察到了类似的预后意义[7]。这些发现突显了跟踪CTCs动态以评估疾病进展和优化治疗方案的临床效用。 然而，CTCs检测面临的主要挑战在于它们的极低丰度。通常，每10毫升外周血液中仅能发现1–10个CTCs[8]，而背景中大约有4.5–10×10^6个白细胞和3.5–5.9×10^9个红细胞[9]。在大量正常血细胞中检测到如此稀少的细胞在技术上仍然具有挑战性，并需要高度敏感和特异的检测技术。更复杂的是，CTCs表现出明显的生物学和生化异质性。例如，不同类型癌症的CTCs中位数直径差异很大：乳腺癌为12.4微米，前列腺癌为10.3微米，结直肠癌为7.5微米，膀胱癌为8.6微米。此外，CTCs大小在肿瘤内部也存在显著变化[10]。 从分子表型来看，上皮细胞黏附分子（EpCAM）的表达在不同类型的癌症中表现出相当大的变异性——这是一种广泛使用的CTCs生物标志物。使用总免疫染色评分（TIS）的免疫组化分析显示，结直肠癌、胃癌、胰腺癌、胆囊癌和肝细胞癌中的EpCAM表达水平从低（TIS 1–4）到中（TIS 6–8）再到高（TIS 9–12）不等[11]。这种变异性限制了基于通用生物标志物的分离方法的有效性。 基于荧光的CTCs检测方法虽然精确，但也有几个局限性。这些包括依赖于针对蛋白质过表达的抗体标记探针——这些探针可能因肿瘤类型和个体患者而异[12]——以及光漂白、光毒性等问题，因此需要专家级的染料选择[13]。此外，荧光标记会损害细胞活力，限制后续分析，如细胞培养或功能测试[14,15]。 作为一种替代方案，无标记技术如高光谱成像（HSI）允许快速、非侵入性地分析细胞，无需免疫荧光或标记即可捕获光谱和形态数据。与传统的染色方法不同，HSI保留了细胞活力，并消除了对外源标记的需求。近年来，HSI在生命科学和生物医学成像中受到了越来越多的关注，与定量相位成像（QPI）和拉曼光谱（RS）形成了互补的能力[16]。各种HSI模式，包括反射高光谱显微镜、高光谱拉曼成像[17,18]和多光谱荧光成像[19]，已在染色和无标记的生物应用中显示出潜力[20]。例如，Bertani等人使用高光谱共聚焦反射显微镜成功区分了黑色素瘤细胞和角质形成细胞[21]，并进一步应用同样的技术半自动分类了巨噬细胞的极化状态[22]。 深度学习的最新发展为高光谱图像数据的高效处理带来了可能，尤其是在复杂的生物医学成像任务中。深度学习架构为表示学习提供了强大的框架，允许在高维数据中自动发现复杂结构[23]。自从AlexNet[24]引入以来，卷积神经网络（CNNs）在广泛的图像识别任务中取得了重大突破[25]。其中，深度残差网络（ResNets）利用二维CNN架构，在从图像中提取层次空间特征方面表现出了卓越的能力[26]。与此同时，一维CNNs[27]和循环神经网络（如长短期记忆LSTM模型[28]越来越多地应用于光谱序列数据，在聚类和分类时间序列信号方面表现出强大性能[29]。 最近的进展将微流控技术和人工智能（AI）的结合定位为生物医学工程中的一个变革性前沿。除了细胞分类之外，机器学习（ML）工具正越来越多地用于优化各种芯片架构中的复杂微流控过程。例如，深度学习模型已成功应用于实时预测和控制液滴形成动态[30]。此外，强化学习算法现在被用于自动化微通道几何形状的设计优化，显著减少了设备制造中的试错周期[31]。在生物分析的背景下，AI驱动的平台通过结合自动流控和快速图像处理，实现了稀有生物标志物的高通量筛选[32,33]。这些智能系统还促进了被动微混合器混合效率的优化以及异质细胞群体的精确分选[34,35]。此外，神经网络在分析微芯片内的阻抗和声学信号方面的应用提高了无标记诊断工具的灵敏度[36,37]。借助这些基于ML的策略，研究人员可以在基于微流的液体活检中实现更好的稳定性和可重复性[38,39]。 基于这些先前的发现，我们开发了一种结合高光谱成像和深度学习模型的方法，能够在不使用标记的情况下识别血液样本中的循环肿瘤细胞（CTCs）。尽管当前的CTCs富集方法主要依赖于免疫荧光标记——尽管其特异性很高，但这种方法劳动强度大且会损害细胞活力——我们的方法旨在建立一种自动化的、无标记的检测流程。整个工作流程如图1所示。虽然单独使用高光谱信息通常不足以可靠地区分CTCs和白细胞（WBCs），但我们通过结合结构分析和多波段投票策略解决了这一限制。这种组合策略通过整合深度学习模型提高了分类性能。我们期望该平台能够支持非侵入性癌症诊断，并协助实时临床监测。

2. 方法 本研究旨在开发一个自动化的、无标记的分类框架，利用高光谱成像（HSI）和深度学习来区分循环肿瘤细胞（CTCs）和白细胞（WBCs）。目标是建立一种快速且非侵入性的流程，以支持早期癌症检测和临床监测。实验工作由国立清华大学工程与系统科学系的生物医学工程与微流控系统实验室以及台湾新竹国立阳明交通大学电气与计算机工程系共同完成。从结直肠癌患者那里获得的血液样本经过处理和分析，使用定制的HSI系统捕获光谱和结构细胞信息。实现了两个深度学习模型：A2S2K-ResNet用于光谱-空间特征提取，修改版的ResNet50用于结构图像分类。模型性能通过五折交叉验证进行评估，评估指标包括准确率、精确度、召回率和kappa统计量。未进行正式的功效计算，因为研究的重点在于开发和验证计算框架，而不是测试临床假设。 2.1. 样本制备 本研究与台北荣民总医院和国立阳明交通大学合作进行，如补充图S8所示，目的是使用高光谱成像检测结直肠癌患者中的循环肿瘤细胞（CTCs）并分析上皮-间充质转化（EMT）特征。收集的周围血液样本存储在Cell Preparation Tubes（BD VacutainerTM CPT tubes，BD Biosciences，美国Franklin Lakes）中，其中包含Ficoll Hypaque、抗凝剂和聚酯凝胶。离心后，凝胶形成屏障，将单核细胞与其他血液成分分开，便于样本的稳定保存和后续处理。 2.1.1. 试剂和染色协议 缓冲液和培养基：在整个洗涤和重悬步骤中使用了磷酸盐缓冲盐水（PBS，pH 7.4）。它由磷酸钠和氯化钠制备，可选加入磷酸钾和氯化钾。 密度梯度介质：Ficoll-Paque PLUS（GE Healthcare，美国芝加哥），密度为1.077 g/mL，用于通过密度梯度离心分离外周血单核细胞（PBMCs）。 固定剂：细胞在室温下用4% paraformaldehyde（PFA；Sigma-Aldrich，美国St. Louis）在PBS中固定10分钟，以保持细胞形态并阻止酶促降解。 荧光标记： 由于我们仍在收集足够的细胞数据，目前使用荧光染色作为辅助标记方法。未来，一旦模型更加稳定，我们计划过渡到完全无标记的方法。 EpCAM-FITC（BD Biosciences，美国San Jose）：用于阳性识别上皮来源的CTCs。 CD45-PE（BioLegend，美国San Diego）：用作阴性标记物以识别和排除白细胞。 Hoechst 33342（Thermo Fisher，美国Waltham）：这是一种核染料，在350纳米激发下发出蓝色荧光。 CTC鉴定基于CellSearch?系统的标准[40]，即表达EpCAM且Hoechst呈阳性的细胞但缺乏CD45表达的细胞被分类为CTCs，通过排除造血细胞提高了特异性。 2.1.2. 样本处理流程 在Leucosep?分离管（Greiner Bio-One，奥地利Kremsmünster）中加入约3毫升Ficoll，然后小心地将2毫升患者来源的全血沿管壁分层。样品以800×g的离心力离心15分钟，以分离单核细胞层，包括淋巴细胞、CTCs和血小板。该中间层被提取出来，再以400×g的离心力离心10分钟。 上清液被减少到1.9毫升，然后进行PBS洗涤并以400×g的离心力离心6分钟。最终的细胞沉淀物再悬浮在100微升PBS中，并与200微升4% PFA混合进行10分钟固定。用700微升PBS洗涤后，细胞依次在以下条件下染色： 共使用了10微升EpCAM-FITC、5微升CD45-PE（30–60分钟）和2.5微升Hoechst 33342（10分钟）。染色后，细胞用900微升PBS洗涤并重新悬浮。取10微升样品用于细胞计数，并将剩余样本调整至最终浓度为2×10^4个细胞/微升。然后将该悬浮液加载到自行开发的Self-Assembly Cell Array（SACA）芯片上进行标准化成像。 利用5微米间隙内的重力和侧毛细流体力，SACA芯片将细胞组织在其亲水SiO2涂层的聚碳酸酯基底上形成平坦的单层结构。这种精确的空间配置防止了细胞重叠，并确保整个扫描区域的一致焦平面。这种排列使得每个高光谱像素能够准确反映单个细胞成分的生化特征，而不会受到聚集细胞的光谱混合干扰。 放在SACA芯片上的样本首先使用内部定制的自动平台（CytoSCM imaging@cellenvision）进行扫描。该平台执行高速荧光扫描，以识别并记录候选细胞的空间坐标。随后，芯片被转移到专用的高光谱成像系统中，利用预先记录的坐标捕获150个光谱带的无标记高光谱数据立方体。这种基于坐标的重新定位确保了荧光真实值和高光谱数据之间的精确空间对齐。芯片、扫描平台和输出图像的示意图见图2。图2. SACA芯片、自动扫描平台和输出图像的示意图。(A) 示意图展示了本研究中使用的自组装细胞阵列(SACA)芯片及其相关工作原理。芯片的亲水底部由涂有SiO2的聚碳酸酯(PC)基板制成。溶液中的输入细胞由于重力作用分布在芯片底部，并通过设计的5微米间隙和两侧的出口，利用侧向毛细流体力被拉成一个平坦的单层，而溶液中的其他成分则通过侧向流体力被排出。(B) 图像展示了本研究中用于检测和分析循环肿瘤细胞(CTC)/循环肿瘤微囊(CTM)的高分辨率自动扫描平台（定制以适应SACA芯片）(CytoSCM imaging@cellenvision)。(C) SACA芯片中一个孔洞中细胞单层的拼接图像；该孔洞被平台扫描，所有通道合并显示。包括细胞分离、固定、标记和扫描的完整工作流程如图3所示。同样的实验方案严格应用于循环肿瘤细胞(CTC)和白细胞(WBC)，以确保数据一致性。

图3. 集成SACA芯片和无标记高光谱成像(HSI)流程的示意图，用于CTC检测和分类。(A) 预处理阶段包括(a)密度分离和(b)单核细胞富集。(B) 标记和加载阶段包括(c)使用EpCAM、CD45和Hoechst的免疫荧光染色，以及(d)将含有CTC/WBC的溶液加载到SACA芯片后形成细胞单层。(C) CTC检测：(e) 使用CytoSCM平台对SACA芯片进行自动荧光扫描，随后进行图像处理以识别目标细胞并记录其精确坐标。(f) 通过将芯片转移到独立的高光谱系统并导航到预先记录的坐标来重新定位目标细胞。(g) 在识别位置获取高光谱数据立方体，然后进行无标记光谱分析和分类。

2.2. 自动多模态成像平台
SACA芯片沉积的样本使用两阶段成像工作流程进行分析，涉及定制的自动扫描平台(CytoSCM imaging@cellenvision)和独立的高光谱成像(HSI)系统。扫描平台集成高分辨率显微光学系统(IX71；Olympus，东京，日本)用于初始细胞定位。在此工作流程中，平台首先以荧光模式自动扫描SACA芯片，基于EpCAM、CD45和Hoechst标记物识别候选CTC的精确空间坐标。识别后，芯片被转移到可见光和近红外(VNIR) HSI系统(SNAPSCAN VNIR B150U，imec，鲁汶，比利时)。通过利用预先记录的坐标，HSI系统在同一位置捕获150个光谱带(470–900 nm)的无标记高光谱立方体。这种基于坐标的重新定位过程确保了荧光真实值和无标记高光谱数据之间的可靠空间配准。

2.2.1. 高光谱相机规格
SNAPSCAN VNIR B150U相机可以捕获470–900 nm范围内的150个光谱带，间隔为2.886 nm。该系统采用线扫描模式运行，包含物理分离的VNIR传感器以最小化串扰。光谱采集通过液晶可调谐滤波器(LCTF)和声光可调谐滤波器(AOTF)的组合来实现，从而能够精确地逐帧进行光谱捕获。

2.2.2. 硬件和软件环境
所有深度学习模型和数据处理任务都在笔记本电脑工作站上实现。硬件配置包括Intel Core i7-12700H CPU、16 GB DDR4 RAM以及带有6 GB VRAM的NVIDIA GeForce RTX 3060笔记本电脑GPU。软件环境基于Windows 11搭建，使用Python 3.12.2。特别是PyTorch 2.5.1深度学习框架，并结合NVIDIA CUDA 12.4加速，以支持高光谱图像分类所需的高维计算。

2.2.3. 相机配置和校准
系统自动捕获黑色参考值。使用含有PBS的空白载玻片获取手动白色参考值，以确保在实验成像条件下的稳定性。这些参考值用于校正传感器噪声和环境光的变化。

TDI（时间延迟积分）设置为1，以减少图像失真，提高了空间分辨率，但牺牲了获取时间。

照明源：
使用无NIR滤光片的卤素灯以实现全光谱VNIR成像。观察到强度和色温的一些波动，尤其是在蓝色区域。

光学系统：
选择Olympus UPLXAPO物镜以最小化色差，并确保在整个光谱范围内的图像清晰度。

2.3. 深度学习模型
为了从高光谱数据中分类CTC，实现了两种深度学习模型：一种是基于光谱特征的像素级模型，另一种是结合形态特征的细胞级模型。这两种模型都基于ResNet架构构建。

2.3.1. A2S2K-ResNet
A2S2K-ResNet模型是一种专门针对高维、小样本高光谱图像分类挑战设计的深度学习架构[41]。在本研究中，选择A2S2K-ResNet是因为它能够同时利用光谱和空间信息，这对于区分形态相似的细胞类型（如循环肿瘤细胞(CTC)和白细胞(WBC)至关重要。该模型基于ResNet骨干构建，包括几个关键组件：

- 自适应光谱-空间核(A2S2K)：这些核根据局部光谱-空间模式自动调整其大小和感受野形状。这种适应性增强了模型对局部异质性的敏感性，使其能够更好地捕捉高光谱数据中的细微变化，例如CTC和WBC之间的差异。
- 注意机制：通道注意力和空间注意力模块被集成在一起，动态权衡不同光谱通道和空间区域的重要性。这确保了模型强调生物相关特征并抑制冗余或噪声信息，从而提高了分类的鲁棒性。
- 多尺度融合块：通过提取和组合多个空间和光谱分辨率的特征，模型可以捕捉全局背景和细粒度的局部差异——这对于分辨细胞形态和组成的细微差异至关重要。在我们的实现中，采用了完整的A2S2K-ResNet结构，包括其光谱-空间残差块、多尺度融合和双重注意力模块。这种综合设计使模型能够在保持高分类准确性的同时有效学习有限的高光谱数据。模型的结构详细说明在补充图S3中。

总体而言，A2S2K-ResNet因其从复杂高光谱图像中提取区分性特征的能力而受到青睐，非常适合生物医学应用中罕见和异质细胞群体的无标记分类。

2.3.2. 修改后的ResNet50
使用在ImageNet上预训练并在我们的数据集上微调的修改后的ResNet50模型进行结构图像分析[26]。该架构包括一个初始的7 × 7卷积层，接着是一个最大池化层，以实现早期空间特征提取。随后是一系列残差块，有助于深度层次表示学习。最后是一个全连接层，将特征维度降低到512，伴随着一个丢弃率率为0.6的层以防止过拟合。模型以配置为二元分类的SoftMax输出层结束。

2.4. 模型评估指标
为了全面评估模型性能，应用了几项关键指标，包括混淆矩阵、准确性、精确度、召回率、平均准确性(?????)、总体准确性(?????)和kappa统计量。混淆矩阵提供了预测分类与实际分类的详细对比，显示了真正例(T???)、真正例(T???)、假正例(?????)和假负例(?????)的数量。
- A?c?c?u?r?a?c?y衡量正确分类实例占总预测数量的比例。
- A?c?c?u?r?a?c?y=?????+?????
- P?r?e?c?i?s?i?o?n，也称为阳性预测值，量化了所有预测为阳性的案例中正确预测的阳性案例的比例。
- R?e?c?a?l?l，也称为敏感性，评估模型识别实际阳性案例的能力。
- 平均准确性(?????)表示类别级别的准确性，特别适用于评估不平衡数据集的性能，而总体准确性(?????)反映了所有类别中正确预测的总比例。
- 最后，kappa统计量衡量预测分类与实际分类之间的一致性程度。其计算公式如下：
$$\kappa = \frac{p_{predicted}{p_{predicted} + p_{false positives}} = \frac{T_{correct} + T_{false negatives}}{T_{correct} + T_{false positives} + T_{false negatives}}$$
这些指标共同提供了对分类模型性能的全面和多维度评估。

3. 结果
本节展示了利用光谱和结构特征区分循环肿瘤细胞(CTC)和白细胞(WBC)的分类实验结果。提供了定量指标和可视化数据，以评估模型在不同条件下的性能。

3.1. 基于光谱信息的分类
我们首先探讨了利用高光谱信息来区分CTC和WBC的方法，基于它们之间的细微光谱差异。最初使用A2S2K-ResNet模型进行这项任务，并在区分培养的癌细胞系和WBC方面表现出较强的性能。该模型有效捕获了明确的光谱特征，从而在受控条件下实现了准确分类。然而，当应用于患者来源的CTC时，分类性能下降，表明在实际生物样本中CTC和WBC之间的光谱差异不那么明显。

3.1.1. 细胞系与WBC的分类
如图4A所示，从整个细胞区域和细胞质区域提取了光谱曲线。具体来说，蓝色曲线代表WBC的细胞质，橙红色曲线对应HT29细胞的细胞质，绿色曲线表示完整的WBC，黄色曲线代表完整的HT29细胞。我们观察到，对整个细胞区域的光谱平均处理模糊了细胞间的差异，降低了区分能力。相比之下，专门从细胞质或内部细胞器提取的光谱曲线显示了更大的细胞类型间变异，并保留了区分特征。

图4. 细胞系和WBC的光谱分析和分类结果。细胞质和整个细胞的光谱特征与分类性能指标一起显示。这种现象可以通过细胞成分的组成来解释。虽然细胞膜主要由磷脂和蛋白质组成——主要由碳、氢、氮和氧构成——但由于它们的分子组成相似，因此光谱差异相对较小。相比之下，细胞质包含更多种类的生物分子，使其成为更丰富的区分光谱信号的来源。具有足够的灵敏度，高光谱系统甚至可以检测到分子键的光谱特征。因此，关注细胞质区域可以提高区分不同细胞类型的能力。补充图S4提供了WBC和HT29细胞之间的额外光谱比较，进一步强调了细胞质中存在的独特特征。

图4B展示了定量分类结果，包括总体准确性(OA)、平均准确性(AA)和Cohen’s kappa值，这些指标来自10次独立测试运行。这些指标是基于像素级别计算的，意味着每个像素都被模型单独分类。结果表明，模型实现了超过80%的AA，成功以高精度区分了HT29细胞和WBC。伴随的kappa值进一步通过考虑超出随机一致性的同意性验证了模型的可靠性。

图5展示了像素级分类结果的视觉表示。在这张图像中，红色像素表示被识别为癌细胞(HT29/A549)的区域，而绿色像素表示被分类为WBC的区域。这种颜色编码的预测图清晰地展示了模型在像素级别区分不同细胞类型的能力。

3.1.2. CTC与WBC的分类
为了提高区分能力，特别从每个细胞中心的细胞质区域提取了光谱数据，因为那里最有可能发生有意义的生化变化。然而，与细胞系实验不同，这种方法没有产生明显的循环肿瘤细胞(CTC)和白细胞(WBC)之间的可区分光谱模式。如图6所示，仔细检查WBC的光谱发现不同批次样本之间存在显著的类内变异性。在许多情况下，WBC内的光谱变异超过了WBC和CTC之间的细微差异。这种高度的变异性使得训练可靠的分类模型变得具有挑战性，特别是在类间差异不如类内波动明显时。

图6. 基于细胞质光谱和部分波段分析的循环肿瘤细胞(CTC)和白细胞(WBC)的分类。该图使用细胞质区域数据展示了CTC和WBC之间的光谱变异性，并评估了选定光谱子范围内的分类结果。左侧面板突出了光谱轮廓的重叠和变异性，特别是在WBC样本中。为了解决这个问题，我们探讨了使用部分光谱带子集的有效性。我们实验中使用的 hyperspectral 成像系统可以捕捉从 470 nm 到 900 nm 的 150 个光谱带的数据。由于细胞在可见光谱中的吸收率较低——在标准成像条件下基本上是透明的——我们将整个光谱范围分成了三个相等的部分：短波长、中波长和长波长（每个部分包含 50 个带）。这种划分是一种降维方法，允许针对可能包含更多信息的光谱区域进行有针对性的分析。

在这些测试中，我们通过加权增加了一个包含 30 个循环肿瘤细胞（CTCs）的数据集，以近似单个 hyperspectral 帧中通常存在的白细胞（WBCs）的数量（约 300 个）。虽然与使用所有 150 个带相比，整体分类准确率提高了不到 3%，但这种微小的提升反映了处理少量阳性（CTC）样本的固有局限性。在这种情况下，召回率——定义为真正例与真正例和假负例之和的比率（TP/[TP + FN]）——是评估模型对罕见类别表现的一个更合适的指标。

在短波长区域，模型的召回率约为 40%，表明大约一半被预测为 CTCs 的像素被正确分类。如图 7 所示，从短波长范围衍生的像素级预测图显示了模型识别 CTCs 的能力有所提高。左侧面板显示了真实标注，而右侧面板展示了相应的分类结果。尽管与 WBCs 有显著的光谱重叠，模型成功识别了许多 CTCs，并且假阳性率很低。这一视觉证据支持了定量召回率指标，并突显了部分带方法在无标签环境中增强检测的实际潜力。尽管提升幅度不大，但这比早期试验中的召回率（从 0% 到 10%）有了显著提高。此外，如表 1 所示，被误分类为 CTCs 的 WBC 像素比率相对较低，进一步支持了模型的实际潜力。所有个别波长的准确率和召回率的详细分解在补充图 S1 中提供，该图强调了最具信息量的光谱带，并展示了模型在整个光谱范围内的性能变化。

为了补充光谱分析，我们探索了使用结构图像特征对循环肿瘤细胞（CTCs）和白细胞（WBCs）进行分类的方法。通过应用监督学习技术，我们希望使模型能够检测到细胞类型之间的细微形态差异——这些特征通常无法通过传统的图像分析方法感知到。这种方法有助于更精确和稳健的细胞分类。

3.2.1 使用单一波长的 CTCs 和 WBCs 分类
图 8 展示了使用单波段灰度图像获得的分类结果。每张图像对应于 hyperspectral 立方体中的一个单一波长通道，模型利用在该波长下捕获的形态特征来区分 CTCs 和 WBCs。

图 8. 使用单波段图像对循环肿瘤细胞（CTCs）和白细胞（WBCs）进行分类。该图展示了在基于单光谱带生成的灰度图像上训练的深度学习模型的分类性能。结果表明，即使光谱输入有限，从个别波长提取的结构特征也足以有效地区分 CTCs 和 WBCs。多次试验中一致的准确率、召回率和精确率证实了单波段结构分析的可行性和稳健性。数据集包括 56 个 CTCs 和 87 个 WBCs。为了评估泛化能力，随机选择了 5 个 CTCs 和 5 个 WBCs 作为保留的测试集，其余样本用于模型训练。采用了五折交叉验证策略来调整模型参数并评估稳定性。训练完成后，将表现最佳的模型配置应用于测试集。

在初次试验中，模型的准确率为 80%，召回率为 100%，精确率为 71.4%，表明所有 CTCs 都被正确识别，尽管存在一些假阳性。在六次独立的试验中，模型始终保持强劲的性能，准确率、召回率和精确率均超过 80%。这些结果证实了使用深度学习区分 CTCs 和 WBCs 的单波段结构分析的有效性和稳健性。

表 2. 使用单波段图像分类的六次独立试验的准确率、召回率和精确率。该表总结了每次交叉验证折叠的模型性能，包括准确率、召回率和精确率。结果表明分类性能强大且一致，所有指标的平均值均超过 87%。这些发现证实了单波段结构分析在区分循环肿瘤细胞（CTCs）和白细胞（WBCs）方面的可靠性。

3.2.2 使用多个波长的 CTCs 和 WBCs 分类
图 9 展示了一个结合了七个精心选择的光谱带的结构信息的混合分类模型的性能。每个带分别通过专用模型贡献于分类，每个输入细胞的最终决定由多数投票策略确定，从而提高了稳健性和可靠性。

图 9. 使用基于多个波长的混合模型对循环肿瘤细胞（CTCs）和白细胞（WBCs）进行分类。该图展示了整合了七个独立优化光谱带预测的混合模型的分类性能。每个特定波长的模型进行独立分类，最终标签通过多数投票确定。这种集成方法提高了整体稳健性，减少了噪声或次优带的影响，并增强了在不同细胞样本上的预测可靠性。为了确定最具信息量的波长，我们首先评估了 470–900 nm 光谱范围内各个波长的分类性能。使用固定的训练和测试数据集，我们进行了三次独立实验来评估特定波长的识别准确性。选择七个具有最高个别准确率的波长纳入混合模型。用于结合这七个通道预测的投票机制在补充图 S2 中以示意图形式展示。

这种集成方法在降低计算复杂性的同时提高了模型的泛化能力。在这个实验中，我们使用了包含 159 个循环肿瘤细胞（CTCs）和 234 个白细胞（WBCs）的数据集。混合模型通过利用多个波段的互补结构特征展示了强大的分类性能。与使用单波段分析获得的平均准确率 88.2% 相比，多波段集成方法将分类准确率提高到了超过 93.5%，精确率超过 92%。这代表了准确率提高了 5% 以上，验证了结构融合和多数投票策略的有效性。

4. 讨论
实验结果表明，尽管混合模型在每次单独试验中都没有获得最高的识别分数，但在整体分类性能上始终优于单波段方法。这种一致性突显了模型的稳健性，并证实了它符合研究最初的目标准提高 CTC 检测的稳定性和可靠性。

混合模型的一个主要优势是它能够在多个具有信息量的波长上整合光谱信息。虽然单波段模型在理想条件下可能表现出高性能，但它们通常受到泛化能力差和容易受到单个光谱通道内的噪声或变异影响的限制。相比之下，混合模型中使用的多数投票机制通过融合多个特定波长的分类器的预测来缓解这些限制。这种集成方法不仅弥补了单个波段的弱点，还增强了模型对样本异质性和光谱异常的抵抗力。

此外，多波长策略提供了更全面和信息丰富的细胞特征表示。不同波长之间的光谱数据的互补性使模型能够捕捉到细胞形态和生化组成的细微差异。这在分类罕见和异质性群体（如 CTCs）时特别有价值，因为在这些群体中，微小的光谱差异容易被生物噪声或类内变异掩盖。通过利用光谱多样性，混合模型在可变的实验条件下显著提高了识别可靠性。

此外，SACA 系统（CytoSCM imaging@cellenvision）的集成提供了相对于传统的无标签 HSI 方法（这些方法依赖于简单的细胞涂片或滴液制备）的根本技术优势。在传统的制备方法中，细胞聚类和重叠往往导致显著的光谱混合，捕获的信号是多个细胞或碎片的复合体，从而降低了深度学习模型的区分能力。相比之下，SACA 芯片的 5 μm 间隙设计利用流体和重力将细胞分离成精确组织的扁平单层。这种硬件级别的空间控制确保每个 hyperspectral 像素对应于一个单层细胞，有效地减少了生物噪声，并使 A2S2K-ResNet 模型能够提取高纯度的细胞质特征。此外，与静态切片成像不同，SACA 平台的自动扫描和基于坐标的注册允许通过其集成的微泵系统潜在地恢复识别的 CTCs 以进行后续的功能分析，这一能力显著增强了我们无标签检测流程的临床实用性。

然而，混合方法的有效性在很大程度上取决于光谱带的仔细选择。在集成中包含无信息或噪声较大的波长可能会降低分类准确性并引入预测错误。因此，带选择应基于经验性能指标和有针对性的特征分析进行，以确保只有最具区分能力的波长被纳入模型。

另一个重要考虑因素是类别不平衡对模型性能的影响。在这项研究中，数据集中 CTCs 的数量明显少于 WBCs，导致少数类的召回率降低。补充图 S6 展示了不同的 CTC/WBC 比率如何影响准确率、召回率和精确率。这些发现强调了解决类别不平衡的重要性——无论是通过平衡采样、合成数据增强还是应用加权损失函数——以提高敏感性而不牺牲整体精确性。

总之，这项研究表明，结合光谱和结构特征以及精心优化的混合分类框架可以显著提高循环肿瘤细胞的检测能力。多波段光谱数据的整合、对带选择的关注以及缓解类别不平衡有助于创建一个不仅准确而且稳定和可适应的模型。这些进展使得所提出的系统成为未来非侵入性液体活检和癌症诊断中的有前途的工具。

5. 结论
在这项研究中，我们开发了一个基于机器学习的框架，用于从癌症患者血液样本的高光谱图像中准确识别和分类循环肿瘤细胞（CTCs）和白细胞（WBCs）。鉴于 CTCs 在癌症转移和复发中的临床相关性，这项工作对早期诊断和治疗规划具有重要意义。

最初，我们研究了用于细胞类型区分的像素级光谱特征。尽管这种方法在区分癌细胞系和 WBCs 时取得了有希望的结果，但在患者来源的 CTCs 上的性能受到限制，这可能是由于 CTCs 和 WBCs 之间的光谱差异微妙所致。为了解决这个问题，我们采用了修改后的 ResNet50 深度学习模型从单波长图像中提取形态特征，证明结构特征可以提供互补的区分能力。

在此基础上，我们引入了一个混合模型，该模型使用集成学习策略整合了来自多个具有信息量的波长的分类结果。这种方法不仅提高了整体分类准确性，还增强了实验间的性能稳定性。通过聚合光谱-空间特征，模型规避了单波段分析的局限性，并实现了细胞特征的更全面表示。

尽管当前框架为无标签 CTC 检测提供了一条可行的路径，但仍需解决某些挑战。这些挑战包括患者来源的 CTC 样本数量少、WBC 种群内的光谱变异以及模型训练期间仍然需要手动注释。尽管如此，我们的结果突显了高光谱成像与深度学习结合在未来的临床液体活检和实时癌症监测中的潜力。补充材料
以下支持信息可在此下载：https://www.mdpi.com/article/10.3390/mi17040472/s1
- 图S1：全谱中最具信息量的光谱带的识别；
- 图S2：多波段集成模型中使用的多数投票机制示意图；
- 图S3：A2S2K-ResNet模型的详细架构，包括光谱-空间残差模块和双注意力模块；
- 图S4：白细胞（WBCs）与HT29细胞系在细胞质区域的光谱比较；
- 图S5：使用次优波长的分类性能；
- 图S6：CTC/WBC比率变化对模型准确率、召回率和精确度的影响；
- 图S7：单波长下CTC和WBC的灰度图像；
- 图S8：患者源性样本收集和紧急医疗技术（EMT）分析的协作工作流程。