《Frontiers in Bioinformatics》:REACH: a reproducible benchmark for inter-lineage rare malignant cell detection in single-cell RNA sequencing
编辑推荐:
摘要专业翻译
单细胞RNA测序(scRNA-seq)中的稀有恶性细胞,包括循环肿瘤细胞(CTCs)、微小残留病(MRD)细胞以及异质性肿瘤微环境(TME)中的小型恶性细胞群,代表了一项重要的临床挑战。这些细胞以极低频率出现,需要从大量非恶性背景细胞中分离出来。
摘要专业翻译
单细胞RNA测序(scRNA-seq)中的稀有恶性细胞,包括循环肿瘤细胞(CTCs)、微小残留病(MRD)细胞以及异质性肿瘤微环境(TME)中的小型恶性细胞群,代表了一项重要的临床挑战。这些细胞以极低频率出现,需要从大量非恶性背景细胞中分离出来。现有方法在不同数据集、标签定义、患病率设置、评分策略和失败处理方式下表现出不一致的评估结果。研究人员提出了跨癌症异质性稀有细胞评估框架(REACH),将谱系间稀有恶性细胞检测视为一个不平衡排序任务。REACH以拷贝数变异(CNV)支持的恶性细胞(P_HC)为阳性对照,以免疫细胞、基质细胞和正常上皮细胞(B_HC)为背景对照,模拟CTC和MRD筛查场景。REACH排除了谱系内状态发现,包括耐药持久细胞、上皮-间质转化(EMT)和过渡性恶性状态,并在Track F中单独评估这些内容。REACH将置信度分层多臂标签与五个评估轨道相结合,涵盖受控真实掺入实验、合成Splatter压力测试、空白背景对照、自然血液/CTC患病率以及有监督标签噪声诊断。通过标准化方法封装、回退感知指标、非参数统计和审计图形再生,REACH提供了一个可复现的评估框架。REACH在10个精选scRNA-seq癌症数据集上评估了10种计算方法,共包含359,739个细胞。该基准在1,125个基准任务中产生了11,250项性能测量。有监督的高变基因逻辑回归上限达到中位平均精度1.0,表明肿瘤细胞与非肿瘤细胞之间存在强烈的表达差异。当前无监督方法仅恢复了该信号的一部分。CaSee作为癌症/正常细胞评分器而非稀有细胞检测器,达到中位平均精度0.512(排除20个退化单元后为0.606)。FiRE作为最强的已发表谱系间检测器,达到中位平均精度0.313。统计检验确认了方法间存在显著性能差异。REACH显示出强烈的背景依赖性,没有一种方法在所有肿瘤类型中均表现最佳。Track F进一步表明,性能强烈依赖于谱系间恶性细胞与微环境对比。将背景限制为同一谱系的正常上皮细胞后,十种方法中有九种降至接近随机的平均精度。这些结果表明,谱系间排行榜不应外推至谱系内稀有细胞发现。
论文解读文章
一、研究背景与问题
肿瘤样本通常高度混合,除占主导的恶性和非恶性细胞群外,还可能包含在生物学上重要但难以通过批量测量观察到的少量细胞群。单细胞RNA测序(scRNA-seq)技术使研究人员能够单独观察此类细胞群,以前所未有的细节水平研究肿瘤异质性。循环肿瘤细胞(CTCs)、转移中间体、微小残留病(MRD)细胞、耐药持久细胞以及肿瘤微环境中的小型恶性细胞群尤为重要。这些细胞群频率极低,在给定数据集中可能仅占1%或更少,这不仅在生物学层面构成挑战,在统计学层面同样如此。当稀有细胞处于更稀释的簇中、与表达相关细胞类型的邻近细胞混合、或缺乏表达和拷贝数证据的高置信度时,它们几乎无法被识别。
癌症数据集中"恶性"标签并非总是清晰明确。细胞可基于拷贝数变异(CNV)、癌症相关表达特征、体细胞突变证据、邻域结构或专家注释被分类为恶性。然而在实践中,证据来源可能不完全一致。某些细胞具有强表达证据但拷贝数支持较弱,而另一些细胞因邻近非恶性细胞群而难以分类。这使稀有恶性细胞检测区别于细胞类型注释,后者的预期类别通常更清晰。此外,该问题极度不平衡,因为背景细胞数量通常远多于目标恶性细胞。
这种不平衡也引发了对方法评估方式的质疑。受试者工作特征曲线下面积(AUROC)广泛用于机器学习分类和排序任务的性能指标,但当阳性类规模极小时会变得难以处理且令人困惑。如果真正的稀有恶性细胞未被排在方法列表顶部附近,该方法仍可能获得相当合理的AUROC。由于高不平衡比,基于精确率-召回率的指标在此场景中往往更有意义,因为它们反映稀有阳性细胞是否在排名最高的预测中被恢复。然而,性能绝不应仅基于单一统计量评估。标签定义、数据分布、零行为、方法失败和统计误差的变化使基准结果的解释复杂化。
已有多个scRNA-seq基准用于测试批次效应校正、聚类、细胞类型注释和稀有细胞发现,但稀有恶性细胞检测需要更针对性的评估方案。目标群体可能非常小,标签可能需要多种类型的生物学证据,且同一方法在不同肿瘤类型、测序平台或患病率设置下可能表现不均。因此,此类任务的基准不应只返回一个最佳方法,而应使用共同规则比较方法,区分有监督参考性能与无监督排序性能,记录失败或不稳定的运行,包含空白对照分析,并以癌症和数据集特异的方式报告结果。
二、研究内容与意义
研究人员提出了跨癌症异质性稀有细胞评估框架(REACH),这是一个用于scRNA-seq数据中谱系间稀有恶性细胞检测的可复现基准。REACH将稀有恶性细胞检测定义为谱系间不平衡排序问题:方法应对高置信度恶性细胞(P_HC,即CNV支持的、肿瘤内在的细胞)赋予高于高置信度背景细胞(B_HC,即免疫细胞、基质细胞和正常上皮细胞)的分数。这种恶性细胞与肿瘤微环境(TME)的对比模拟了CTC和MRD筛查场景,而明确不测试谱系内亚状态发现。
REACH包含五个主要评估轨道(A-E)和一个谱系内诊断轨道(F)。Track A为受控真实掺入实验,是主要终点;Track B为合成Splatter压力测试;Track C为仅背景空白对照;Track D为自然血液/CTC患病率;Track E为有监督标签噪声诊断。Track F通过掩蔽TME对比来测试谱系内检测。当前审计的REACH快照包括10个数据集、10种方法和11,250项个体方法性能测量,框架可扩展至新数据集和方法。
结果表明,许多高置信度恶性和背景标签包含可被有监督模型恢复的基因表达差异。然而,当前无监督和基于稀有度的方法在主要Track A终点上仅恢复了部分分离。REACH还表明方法性能随数据集和评估轨道而变化,在一种肿瘤背景下表现良好的方法在另一种背景下可能不是最强方法。这些发现支持需要可复现基准来结合数据集背景、稀有度水平、失败行为和评估条件评估稀有恶性细胞检测。
三、关键技术方法
研究人员处理了10个数据集,包括8个实体瘤和2个血液/CTC数据集,所有数据集均通过标准AnnData流程处理,包括质量控制(最小基因数200、最小UMI数500、最小细胞数3)、Scrublet双细胞检测、总计数归一化(至10,000)及随后的log1p转换、2,000个高变基因(hvg)鉴定、50个主成分分析(PCA)分量计算、邻域图构建和Leiden聚类(res=0.5,seed=42)。标签构建采用多臂策略,结合来源注释、infercnvpy CNV推断、AUCell特征评分和kNN邻域支持,细胞需满足全部四项阳性证据标准(来源阳性、非整倍体、AUCell评分≥τ_AUCell=0.15、邻域纯度≥τ_kNN=0.50)才被分配至P_HC组。评估使用标准化的方法封装、回退感知指标和非参数统计。
四、研究结果
4.1 方法审计与排行榜
十七种候选方法中,十种在标准化评分契约下产生了可评估输出,七种因整合约束、评分契约不匹配、内存不足或超时失败或退化输出而被排除。Track A平均精度(AP)排行榜显示,有监督的hvg_logreg上限达到中位AP 1.0,CaSee作为癌症/正常细胞评分器达到中位AP 0.512(排除20个退化单元后为0.606),FiRE作为最强的已发表谱系间检测器达到中位AP 0.313。统计检验确认方法间存在显著性能差异。
4.2 标签阈值敏感性分析
通过3×3网格变化两个自由参数(τ_AUCell∈{0.10,0.15,0.20}和τ_kNN∈{0.40,0.50,0.60}),在五个有效数据集上P_HC标签集在所有九种组合中保持不变,Spearman秩相关系数ρ范围为[0.685,0.939](均p<0.05)。两个数据集被排除:rcc_multi因排名重叠不足,ov_izar_tirosh因P_HC计数随阈值变化(n=40,3,1)。定性方法排名在合理阈值选择下保持稳定。
4.3 Track A与Track B排名比较
方法级Spearman ρ=0.042(p=0.907),表明Track A与Track B排名间无显著相关性。仅有监督的hvg_logreg上限保持其排名(1→1),所有已发表的排序方法均大幅重排,表明合成Splatter压力测试捕获了与真实细胞掺入实验不同的方法属性。
4.4 标签设计结构性质
在所有七个数据集和所有九种阈值组合中,没有细胞满足B_HC组的完整四项标准交集(n_B_HC=0)。Track A背景细胞因此从更广泛的来源阴性、二倍体、低特征池中抽取,而非严格的B_HC集合。这不影响Track A排名的有效性,但意味着B_HC臂在当前快照中未产生可用的对称高置信度背景集。
4.5 谱系内诊断轨道
Track F将背景限制为与恶性阳性细胞相同组织来源的正常上皮细胞,掩蔽全局TME噪声。结果显示,将背景限制为同一谱系的正常上皮细胞后,十种方法中有九种降至接近随机的平均精度,表明性能强烈依赖于谱系间恶性细胞与微环境对比,谱系间排行榜不应外推至谱系内稀有细胞发现。
五、讨论与结论
REACH通过循环性检验评估了CNV证据对标签构建的影响,重新推导了完全删除CNV标准后的HC标签,结果显示大部分HC标签信号来自CNV。然而,由于CNV仅用于标记而非作为竞争方法排名,这不威胁有效性。REACH还独立验证了CNV证据本身与已发表来源注释的一致性。
研究结论指出,REACH基准化了从异质性非恶性背景中识别稀有CNV支持的恶性细胞这一谱系间问题,模拟CTC和MRD筛查场景。它不评估谱系内亚状态发现,这需要同谱系对比。新的Track F提供了首次谱系内探针,确认谱系间排行榜不能外推至谱系内检测。REACH显示出强烈的背景依赖性,没有一种方法在所有肿瘤类型中均表现最佳,强调了在评估稀有恶性细胞检测方法时考虑数据集背景、稀有度水平、失败行为和评估条件的重要性。