CMAMIL：跨模态对齐的多实例学习方法，用于无标签肺癌免疫治疗反应预测

《Optics and Lasers in Engineering》：CMAMIL: Cross-modality aligned multi-instance learning for label-free lung cancer immunotherapy response prediction

非小细胞肺癌免疫治疗响应预测通过多维光学时间拉伸成像流式细胞术（OTS-IFC）实现，利用外周血白细胞动态生物标志物，结合跨模态对齐与实例级区分机制，有效预测患者免疫治疗反应，准确率达90.84%。

　　

叶昭毅|宋从宽|翁月云|沈慧|王杜|梅丽叶|雷成

武汉大学集成电路学院，中国武汉，430072

摘要

免疫疗法显著改善了非小细胞肺癌（NSCLC）患者的预后，但大多数患者仍会出现原发性或获得性耐药性，而现有的临床生物标志物无法预测这些耐药性。为了解决这一难题，我们提出了一种无标记、非侵入性的框架，通过利用外周血白细胞作为动态免疫生物标志物来预测NSCLC患者的免疫疗法反应。具体而言，我们首先开发了多维光学时间拉伸成像流式细胞术（OTS-IFC），以获取高通量的明场（BF）和定量相位（QP）细胞图像，从而同时捕捉形态学和生物物理特征。我们在武汉大学人民医院招募的33名NSCLC患者（23名响应者和10名非响应者）上验证了我们的多维OTS-IFC方法，获得了39,101张多维白细胞图像。为了捕捉大规模白细胞群体中的异质但低丰度的细胞表型，我们引入了跨模态对齐的多实例学习（CMAMIL），该方法将跨模态分布对齐模块与实例级判别属性机制相结合。CMAMIL通过基于KL的正则化手段对齐BF和QP模态特定的特征分布，有效缓解了模态引起的差异，实现了白细胞生物物理-形态特征的统一表示。此外，我们的实例级判别属性机制能够识别罕见但信息量大的细胞表型，使模型能够关注那些影响免疫疗法反应差异的微妙免疫变化。在临床收集的肺癌免疫疗法反应预测数据集上的实验结果表明，CMAMIL的准确率达到90.84%，超过了八种其他方法。因此，这项工作提出了一种无标记、高通量、非侵入性的光学技术框架，用于免疫疗法反应预测，有助于NSCLC患者的精准分层。

引言

肺癌仍然是全球最常见和致命的恶性肿瘤之一[1]。非小细胞肺癌（NSCLC）占病例的近85%，主要包括肺腺癌（LUAD）、肺鳞状细胞癌（LUSC）和大细胞癌（LCC）[2]。治疗策略因阶段而异：早期疾病通常通过手术切除治疗，但复发率仍然很高[3]，而晚期NSCLC常采用化疗或放疗，这些方法存在全身毒性和长期疗效有限的问题[4]。尽管针对可操作突变的分子靶向疗法改善了患者的预后[5]，但只有少数患者受益，这突显了需要更广泛有效的治疗策略[6]。

免疫疗法已成为NSCLC的一种变革性治疗方法，与传统的化疗相比，它具有更持久的治疗效果和更低的全身毒性[7]。广泛应用的策略如免疫检查点抑制剂和过继细胞免疫疗法显著扩展了肺癌患者的治疗选择[8]、[9]。然而，只有部分患者表现出持续的反应，这反映了肿瘤-免疫相互作用的巨大异质性和肿瘤微环境的复杂性[10]。为了指导患者分层，几种临床验证的生物标志物已被纳入常规实践[11]、[12]、[13]。除此之外，还探索了许多基因组和免疫学候选标志物，范围从基因水平标志物到基于免疫细胞的关联物[14]、[15]、[16]、[17]。然而，这些基于组织的方法受到侵入性采样要求以及空间和时间异质性的影响[18]、[19]。

在这种情况下，外周血已成为一种有吸引力的生物标志物来源[20]。基于血液的检测方法在非侵入性、连续采样可行性以及反映整体宿主免疫状态方面具有明显优势[21]。在当前的临床实践中，通常采用两种主要方法直接分析外周血中的免疫细胞。第一种方法依赖于传统的涂片显微镜来评估细胞形态，这种方法劳动强度高且通量相对较低[22]。第二种方法使用基于荧光的流式细胞术，虽然显著提高了检测通量，但无法捕捉单个细胞的详细形态特征[23]。为了克服这些限制，研究人员引入了先进的成像流式细胞术等技术来表征细胞[24]、[25]。其中，光学时间拉伸成像流式细胞术（OTS-IFC）通过光学时间拉伸实现了无标记的快速强度细胞图像获取，以非侵入性的方式提供了高通量的形态学分析[26]。然而，免疫细胞的内在异质性（高特异性与显著的形态相似性相结合）使得这些方法由于依赖单一模态测量而无法提取某些细胞特征[27]。因此，所获得的信息量和维度有限，限制了它们在准确预测患者免疫疗法反应方面的实用性。

基于这些考虑，我们提出了一种使用外周血白细胞预测NSCLC患者免疫疗法反应的无标记框架。在这项研究中，我们在武汉大学人民医院胸外科招募了33名NSCLC患者（10名非响应者和23名响应者）。利用多维光学时间拉伸成像流式细胞术（OTS-IFC），我们获得了39,101张明场（BF）和定量相位（QP）白细胞图像，从而以高通量方式捕获了单细胞分辨率下的形态学和生物物理信息。为了解决大规模OTS-IFC数据集中低丰度但具有临床信息价值的白细胞亚群的挑战，我们开发了弱监督的跨模态对齐多实例学习（CMAMIL）。CMAMIL结合了跨模态分布对齐（CMDA）模块和实例级判别属性（ILDA）机制，能够在保持患者级肺癌免疫疗法反应预测可解释性的同时提取高度区分性的细胞特征。因此，我们提供了一种无标记、高通量、信息丰富的白细胞细胞分析框架，为NSCLC患者的精准和非侵入性免疫疗法反应预测提供了有希望的途径。

部分摘录

概述

如图1所示，所提出的框架包括三个主要阶段。首先，我们招募了33名NSCLC患者，并按照标准样本制备程序从外周血中获取纯化的白细胞。其次，我们应用多维OTS-IFC以无标记的方式获取响应者和非响应者的白细胞的高通量BF和QP图像，从而捕获全面的形态学和生物物理信息。最后，我们设计了

实施细节和评估指标

我们使用PyTorch框架在NVIDIA A6000 GPU上进行所有实验。网络使用Adam优化器进行优化，初始学习率为0.00008，训练周期为50个时代。我们将BF和QP细胞图像的大小调整为512×512。在我们的MIL公式中，我们将批量大小设置为16，相当于一个包含$k=16$个实例。这些袋级标签来自相应患者的免疫疗法反应标签（由双重评估策略定义），并用于

讨论与结论

肺癌仍然是全球癌症相关死亡的主要原因之一，免疫检查点阻断已成为一部分患者的有效治疗选择。然而，在临床实践中，识别可靠的生物标志物来预测免疫疗法反应仍然具有挑战性，因为当前的检测方法通常需要侵入性组织采样或依赖于预测能力有限的分子标志物。外周血提供了一种非侵入性和易于获取的替代方案

伦理声明

本研究获得了武汉大学人民医院临床研究伦理委员会的批准（编号WDRY2023-K155）。

CRediT作者贡献声明

叶昭毅：撰写——原始草稿、验证、方法学、研究、概念化。宋从宽：撰写——原始草稿、方法学、数据管理、概念化。翁月云：监督。沈慧：可视化。王杜：验证。梅丽叶：撰写——审阅与编辑、软件开发、资金获取、概念化。雷成：撰写——审阅与编辑、资金获取、正式分析、概念化。

利益冲突声明

我们声明没有可能不恰当地影响本文报告工作的财务利益或个人关系。

致谢

本文的研究工作得到了国家重点研发计划（2023YFF0723300）、国家自然科学基金（62475198、62505232）、深圳市科技计划（JCYJ20230807090207014）、湖北省自然科学基金（2025AFB055）、湖北省教育厅科技研究项目（Q20241403）以及湖北工业大学研究生教育改革研究项目（2025025）的支持。