《Briefings in Bioinformatics》：DNAmBERT: a transformer-based model for non-invasive cancer diagnosis using DNA sequence and methylation data
编辑推荐：
DNA甲基化改变是癌症早期且稳定的标志，代表了利用循环游离DNA（circulating cell-free DNA, cfDNA）进行非侵入性检测的有前景的生物标志物。然而，当前的计算方法通常分别对DNA序列和甲基化特征进行建模，难以捕获异质性、低信号液体活
DNA甲基化改变是癌症早期且稳定的标志，代表了利用循环游离DNA（circulating cell-free DNA, cfDNA）进行非侵入性检测的有前景的生物标志物。然而，当前的计算方法通常分别对DNA序列和甲基化特征进行建模，难以捕获异质性、低信号液体活检数据中复杂的读段水平甲基化结构。在此，研究人员提出了DNAmBERT，一种基于Transformer的深度学习框架，旨在联合建模来自cfDNA甲基化测序数据的DNA序列背景和读段水平甲基化单体型结构。DNAmBERT通过统一的表示和掩码语言建模目标，将k-mer编码的DNA序列与甲基化单体型令牌整合，通过自注意力机制实现序列-表观遗传依赖性的上下文感知学习。研究人员在多个cfDNA甲基化平台（RRBS、cfRRBS和cfMethyl-seq）和多种癌症类型（包括结直肠癌、肺腺癌和肝细胞癌）上评估了DNAmBERT。在二分类任务中，该模型在各平台上均取得了高性能（AUC高达0.99–1.00），并优于传统机器学习和现有深度学习方法。读段水平预测的聚合实现了样本水平的定量肿瘤概率估计。在二元检测之外，DNAmBERT还支持多癌种和分期感知分类，包括早期疾病，多分类AUC值高达0.99。该框架进一步展示了有效的跨癌种迁移学习，在数据有限的情况下保持稳健性能。这些结果表明，整合序列-单体型表示学习为基于cfDNA的多癌种检测提供了一种准确且可扩展的方法。
**DNAmBERT：整合序列与甲基化单体型的Transformer框架用于cfDNA多癌种检测**
**一、研究背景与问题**
癌症是全球范围内导致死亡的主要原因之一，早期检测对改善患者预后至关重要。肿瘤的发生发展由遗传和表观遗传改变的积累驱动，其中DNA甲基化因其稳定性、功能相关性和组织特异性而成为癌症中研究最广泛的表观遗传修饰。癌症相关的甲基化改变通常涉及肿瘤抑制基因启动子区的高甲基化以及基因组整体的低甲基化，导致转录沉默、基因组不稳定和癌基因激活。这些改变在肿瘤发生早期即出现并贯穿疾病进展全过程，使DNA甲基化成为癌症检测、预后和疾病监测的理想生物标志物。
传统的组织活检存在侵入性强、难以重复采样、捕获肿瘤异质性能力有限等局限。液体活检通过分析循环游离DNA（circulating cell-free DNA, cfDNA）成为微创替代方案。cfDNA片段来源于全身凋亡和坏死细胞，包含少量保留原发肿瘤和转移灶表观遗传特征的循环肿瘤DNA（circulating tumour DNA, ctDNA）。然而，cfDNA分析面临显著挑战：肿瘤来源片段丰度极低（尤其在早期），信噪比低；不同测序平台（如EM-Seq、WGBS、cfRRBS、cfMethyl-Seq）覆盖模式、片段长度和技术偏差各异。现有计算方法通常依赖聚合的区域甲基化特征，忽视读段水平的甲基化结构和局部序列背景，难以捕获肿瘤来源cfDNA中复杂的共甲基化模式和序列依赖性表观遗传结构。
近年来，深度学习方法如DISMIR、MethylBERT和DECIDIA虽取得进展，但在建模策略和下游目标上存在差异：DISMIR缺乏Transformer上下文表征学习；MethylBERT和DECIDIA直接从测序读段学习序列表示，未在表征学习前纳入生物学信息引导的甲基化单体型DMR选择。此外，这些方法主要集中在肿瘤检测或去卷积，对肿瘤概率估计、多癌种分类、分期预测和迁移学习等统一下游任务支持有限。基于Transformer的架构可通过自注意力捕获长程依赖，尤其适合整合异质性生物信号。为克服上述局限，研究人员开发了DNAmBERT框架。
**二、主要技术方法**
DNAmBERT首先利用甲基化单体型负荷（methylation haplotype load, MHL）鉴定癌症特异性差异甲基化区域（differentially methylated regions, DMRs），将表征学习限制在肿瘤相关甲基化信号富集的区域内。随后将DNA k-mer序列与读段水平甲基化单体型符号序列通过[SEP]令牌连接为统一输入，采用掩码语言建模（masked language modelling, MLM）进行自监督预训练，再通过监督微调完成下游任务。研究使用了来自RRBS、cfRRBS和cfMethyl-Seq三种平台的519个DNA甲基化组样本，涵盖结直肠癌（CRC）、肺腺癌（LUAD）和肝细胞癌（LIHC）肿瘤组织、患者血浆cfDNA及健康对照血浆cfDNA。数据按样本水平划分为训练集（70%）、验证集（15%）和测试集（15%），独立外部血浆cfDNA队列用于肿瘤概率估计和外部队列验证。
**三、研究结果**
**1. 评估MM和MHL在癌症和组织特异性DMR鉴定中的机器学习模型表现**
研究人员使用Decision Tree、Bagging、Random Forest、AdaBoost、Gradient Boosting、XGBoost和支持向量机等监督学习模型，比较平均甲基化（mean methylation, MM）与MHL两种区域甲基化指标的判别性能。结果表明，基于MHL特征训练的模型在CRC和LUAD中均一致优于基于MM特征的模型。CRC中MHL-based Random Forest、Bagging和XGBoost分类器准确率约0.79–0.80，AUC达0.90–0.91；LUAD中MHL-based Random Forest和Gradient Boosting模型准确率为0.88–0.89，AUC达0.94–0.95。这证实MHL较MM具有更优的判别能力，支持在cfDNA癌症检测下游分析中使用单体型水平甲基化结构。
**2. 二分类：基于单体型甲基化模式**
利用MHL鉴定癌症和组织特异性DMRs作为DNAmBERT输入特征，共鉴定CRC血浆（CRCP）890个DMRs（53,546个片段）、LUAD血浆（LUADP）411个DMRs（28,481个片段）和LIHC血浆（LIHCP）234个DMRs（15,729个片段）。在RRBS和cfMethyl-Seq平台上，使用k=3–6的k-mer令牌化进行预训练和微调。RRBS平台中，CRCP vs NCP在k=4时达到最优（准确率0.95，敏感性0.99，特异性0.92，AUC 1.00）；LUADP vs NCP在k=6时最佳（准确率0.96，敏感性0.99，特异性0.93，AUC 0.99）。cfMethyl-Seq平台中，CRCP vs NCP在k=6时准确率0.96，AUC 0.99；LUADP vs NCP在k=6时准确率0.96，AUC 0.99。
**3. 与DISMIR的读段水平甲基化模式二分类比较**
研究将甲基化单体型信息分解为读段水平甲基化模式，与DISMIR进行公平比较。DNAmBERT在两种癌症类型中均一致优于DISMIR。LUADP vs NCP在k=6时，DNAmBERT准确率0.96，敏感性0.97，特异性0.95，AUC 0.99，DISMIR的AUC为0.95；CRCP vs NCP在k=3时，DNAmBERT准确率0.96，AUC 0.99，DISMIR的AUC仅0.92。DISMIR虽有较高特异性，但较低精确率表明其假阳性率更高。
**4. 肿瘤概率估计**
使用k=6配置在独立测试数据集上评估DNAmBERT的肿瘤概率估计能力。CRC中，CRCP（n=30）与NCP（n=22）的肿瘤概率估计值显著分离（p=1.97×10??），NCP样本概率值均低于0.3。LUAD中，LUADP（n=38）与健康对照（n=22）同样显著分离（p=2.81×10?1?）。在额外未见过cfDNA样本的验证中，CRC（p=1.75×10??）和LUAD（p=2.81×10?1?）均获得一致结果。患者水平肿瘤概率通过计算血浆样本内所有cfDNA片段预测概率的算术平均值获得，在所有数据集中实现了癌症与健康样本的近乎完美区分（AUC≈1）。
**5. 多癌种检测**
在三类分类任务（CRCP、LUADP、NCP）中，k=6时DNAmBERT测试准确率90%，精确率、召回率、F1-score和AUC均≥0.90。扩展至四类分类（加入LIHCP）时，模型仍保持强性能，准确率88%，AUC 0.98。混淆矩阵显示LUADP和NCP具有高敏感性和特异性，仅少量CRCP样本被误分类为LUADP。3D logit表示和t-SNE可视化证实各类别簇分离清晰。
**6. 分期感知多分类**
在CRCP、LUADP和LIHCP的早期（ES）与晚期（LS）分期vs NCP多分类任务中，CRCP在k=3–6时测试准确率0.85–0.86，AUC稳定为0.98；LUADP在k=3时最佳（准确率0.86，AUC 0.98）；LIHCP在所有k-mer设置下测试准确率0.83–0.84，AUC一致为0.97。在结合所有组织类型的早期癌症（CRCP-ES、LUADP-ES、LIHCP-ES）与NCP的复杂多分类中，DNAmBERT测试准确率达0.88–0.89，AUC高达0.99。
**7. 与传统机器学习模型及MethylBERT的比较**
与传统机器学习模型（Decision Tree、Bagging、Random Forest等）相比，DNAmBERT一致优于所有传统方法。最佳传统模型（Bagging、Random Forest、Gradient Boosting）测试准确率约0.62，AUC 0.82–0.85；DNAmBERT准确率超过0.89，AUC达0.97。AdaBoost表现最差（准确率0.39，AUC 0.65）。与MethylBERT在NCP、CRCP、LUADP、LIHCP四类分类比较中，DNAmBERT在独立测试集准确率86%、精确率86%、敏感性86%、特异性95%、F1-score 86%、AUC 0.97，均优于MethylBERT（准确率84%，F1-score 84%）。t-SNE可视化显示DNAmBERT形成紧凑且分离良好的簇。
**8. 迁移学习**
在二分类迁移学习场景中，预训练于CRCP vs NCP并微调于LUADP vs NCP时，准确率最高达0.93，AUC达0.98，敏感性达0.99；预训练于LUADP并微调于CRCP时，准确率0.90–0.95，AUC 0.98–0.99。涉及LIHCP的迁移性能波动较大，但k=6配置均实现较高敏感性。在多分类迁移学习中，使用k=6在CRCP、LUADP、LIHCP和NCP上预训练，并微调于包含NCP、早期肺腺癌血浆（L-P-ES）、晚期肺癌血浆（L-P-LS）和非恶性肺血浆（L-P-NM）的四类肺数据集，模型准确率、精确率和召回率均为0.81，F1-score 0.80，特异性0.94，AUC 0.96。
**四、讨论与结论总结**
讨论部分指出，DNAmBERT的实践应用高度依赖于上游cfDNA预处理的质量和可重复性。研究人员强调DNAmBERT旨在补充而非取代cfDNApipe和cfDNA-UniFlow等标准化预处理流程，可与之便捷整合。在方法学比较中，DNAmBERT的改进不仅体现于分类准确率的提升，更代表向整合序列-单体型表示学习的范式转变。通过结合生物学信息引导的DMR选择与读段水平甲基化单体型Transformer建模，该框架为多种下游cfDNA分析任务提供统一解决方案。
研究结论部分可总结为：DNAmBERT通过统一Transformer架构联合建模DNA序列背景与读段水平甲基化单体型结构，在多个cfDNA甲基化平台和多种癌症类型中实现了高性能二分类，AUC高达0.99–1.00，优于现有方法。读段水平预测的聚合实现了样本水平定量肿瘤概率估计。该框架还支持多癌种和分期感知分类（包括早期疾病），多分类AUC高达0.99，并展现了有效的跨癌种迁移学习能力。这些结果确立了整合序列-单体型表征学习为基于cfDNA的多癌种检测提供准确且可扩展的途径，支持DNAmBERT作为面向临床液体活检应用的可扩展基础框架。
