在基于整个生物体的外部验证基准测试中，蛋白质级表示在病原因子分类方面的表现优于核苷酸级基础模型

《Computational Biology and Chemistry》：Protein-level representations outperform nucleotide foundation models for virulence-factor classification in an organism-level holdout benchmark

　　•首个在生物体层面评估蛋白质模型与核苷酸模型在病毒因子识别方面表现的基准测试。•在所有预留的病原体上，ESM-2的表现均优于DNABERT-2（平均AUC为0.77，而DNABERT-2为0.54）。•经过LoRA微调的DNABERT-2并未显著优于k-mer基线模型。•在另一个包含8种病原体的VFDB标记基准测试中，模态差异问题依然存在。•BLASTx能检测出99%以上存在保守突变、替换率高达70%的查询序列。

引言
人工智能与合成生物学的结合带来了双重用途的挑战：那些用于实现有益基因设计的工具，同时也降低了被滥用的可能性。商业DNA合成服务商会利用序列相似性工具，将收到的订单与已知病原体数据库进行比对。美国近期的政策强调了全面的核酸合成筛查，包括2024年由科技政策办公室制定的《核酸合成筛查框架》（OSTP，2024年），该框架要求对所有长度大于200个核苷酸的合成DNA订单进行筛查，到2026年10月则要求这一标准降至≥50个核苷酸，并且要对照联邦监管的特定病原体和毒素进行筛查。然而，2025年5月5日发布的关于“提升生物研究的安全性与保障性”的行政命令要求科技政策办公室在90天内修订或取代2024年的框架，因此截至2026年7月，我们仍认为相关政策环境仍在变化中。

目前的筛查体系分为两个层级。首先，像BLAST（Altschul等人，1990年）这样的核苷酸级工具会将原始DNA序列与病原体数据库进行比对。其次，根据国际基因合成联盟制定的《统一筛查协议》v3.0（IGSC，2024年），服务商会将提交的DNA序列按照六种阅读框进行翻译，然后将得到的氨基酸序列与蛋白质数据库进行比对。该协议要求成员机构对长度为200个碱基对或更长的序列进行筛查，到2026年10月24日则需将这一标准降至50个碱基对，并且要对所有序列进行六种阅读框的翻译以便进行蛋白质级筛查。这种双层筛选方式能够有效抵御同义密码子替代攻击——即那种在不改变所编码蛋白质的情况下改变DNA密码子的攻击方式——因为翻译后的蛋白质序列保持不变。NIST在2025年进行的工具间对比测试（Laird等人，2025年）表明，现有的筛查工具在未经过修改的序列上的检测灵敏度可达95%以上，准确率则可达到97%以上。

然而，还存在一种更为严重的理论威胁：具有对抗性的蛋白质级重设计。人工智能蛋白质设计工具能够生成功能变异体，这些变异体的氨基酸序列虽然与原始序列有很大差异，但却保留了原有的三维结构及生物活性（Wittmann等人，2025年）。当序列的相似度低于比对的敏感度阈值时，这类经过重设计的蛋白质就能够规避基于DNA和蛋白质层面的筛查。需要强调的是，我们的基准测试所评估的只是这种威胁的一种在计算上易于处理的模拟形式（基于BLOSUM62相似性分组产生的保守氨基酸替换），而非经过验证的实际功能重设计。

Zhang等人（2025年）提出了GeneBreaker，证明了DNA语言模型有可能被破解，从而生成与人类病原体高度相似的序列。尽管他们的研究侧重于生成模型的滥用问题，但它确实揭示了促使人们开发基于学习方法的筛查技术的更广泛的威胁形势。

本文共有四项贡献：
1. 对BLASTx的灵敏度压力测试。我们在一个预留的测试子集中，使用带有注释的编码序列，对BLASTn和BLASTx在面对同义密码子替换以及保守氨基酸替换时的表现进行了基准测试。结果显示，BLASTx对同义密码子替代攻击具有完全的抵抗力，在每个氨基酸残基替换率达70%的情况下，仍能保持99%以上的病原体检测率。需要指出的是，这是在一个规模较小的自定义数据库（1748种蛋白质）上测得的检测灵敏度，不能代表实际的全面检测能力，而且所使用的扰动数据都是通过计算模拟得到的，而非经过验证的实际功能重设计结果。
2. 核苷酸级基础模型的负面测试结果。在严格的生物体层面预留测试条件下，经过LoRA微调的DNABERT-2无法实现良好的泛化能力。通过“留一生物体”交叉验证也证实了这一点：平均F1值为0.177 ± 0.110，平均AUC值为0.536 ± 0.041。
3. 在生物体层面预留测试条件下，蛋白质级模型的表现更佳。在匹配的留一有机体交叉验证条件下，经过LoRA微调并针对翻译后的CDS序列训练的ESM-2，其平均F1值为0.537 ± 0.091，平均AUC值为0.774 ± 0.058，其在所有测试组中的表现均优于DNABERT-2，这体现了在所测试的各种方法中，以蛋白质形式表示序列具有优势。而k-mer加上逻辑回归的基线模型（平均AUC值为0.509）则表明，DNABERT-2并不比基于词袋模型的方法有更好的性能。30%序列同源性的集群预留测试结果表明，ESM-2的泛化能力不仅限于序列结构较为接近的蛋白质家族，不过结构层面的同源性以及经过实验验证的功能重设计问题目前还尚未得到考虑。
4. 相较于以往研究的方法改进。我们不再采用随意的基因组分段方式，而是转为使用带有注释的CDS序列；不再是对整个基因组进行标记，而是对基因的毒性进行标注；不再使用模拟的同源性比较，而是直接使用真实的BLAST比对；也不再采用容易出现信息泄露的随机分割方式，而是采用可控的生物体层面以及序列簇层面的评估方法。

为了清晰地区分证据与背景信息，我们在文章开头就明确了本文的研究内容与未涉及的内容。本文已证实的内容包括：在13种生物体上，对两种基础模型以及一种基于同源性的基线模型在基因毒性因子分类方面的表现进行了受控的基准测试比较，同时还包含了统计显著性检验、校准分析以及针对BLAST性能的稳定性测试。至于那些作为研究背景但未在本文中进行评估的内容，包括DNA合成筛查政策的整体情况、具有对抗性的人工智能蛋白质重设计技术（第3.1节，第三级威胁），以及这些技术在商业筛查流程中的应用情况。在文章的第1节和第5节中，我们会提到这些内容，但只是作为背景介绍以及未来研究的方向，我们会明确指出这一点，而不会将其视为本研究得出的结果。

片段摘录
核酸合成筛查
国际基因合成联盟制定的《统一筛查协议》v3.0要求各成员企业将提交的DNA序列的六种阅读框都进行翻译，然后将其与蛋白质级别的病原体数据库进行比对。这样一来，商业筛查系统就能够有效抵御同义密码子替代攻击，而这一优点在之前的计算生物安全相关研究中并没有得到充分重视。BLAST（Altschul等人，1990年）仍然是非常重要的工具，其中BLASTn用于核苷酸级别的比对，而BLASTx则用于翻译后的序列比对。

方法部分
图1展示了从两个数据来源开始，经过CDS序列提取、毒性因子标注、生物体层面预留测试，再到四种被评估方法的比较，以及统一的评估指标这一整个过程的概要图。

混淆条件下的BLAST性能
表6和表7展示了在实际混淆攻击条件下的BLASTn和BLASTx的性能表现，图2则以可视化的方式对这些数据进行了总结。正如预期的一样，且与《统一筛查协议》的要求一致，由于蛋白质序列并未发生改变，BLASTx在所有同义密码子替换情况下都能实现100%的检测率。而BLASTn的检测率则会急剧下降，当序列替换率达到75%时，其检测率就降为0%——不过对于实际筛查来说，这种情况并不重要，因为实际筛查还会包括对翻译后序列的比对。同义密码子替代并非一种可行的攻击手段。

该基准测试得出的结论
根据表8、表9、表10和表11的数据，该基准测试得出了三项结论：
1. 经过LoRA微调的DNABERT-2在多种生物体上的毒性因子分类任务中无法实现良好的泛化能力（表8：平均F1值为0.177，平均AUC值为0.536），其性能与基于词袋模型的k-mer基线模型没有显著差异（表12）。
2. 在针对翻译后的CDS序列经过LoRA微调后，ESM-2在所有留一有机体交叉验证组中的表现均优于DNABERT-2（表9：平均F1值为0.537，平均AUC值为0.774），这种性能差异具有统计学上的显著性。

结论
我们提出了一个在严格的生物体层面预留测试条件下用于评估毒性因子分类能力的基准测试。我们的主要研究发现如下：
1. BLASTx在面对保守氨基酸替换时，对病原体查询序列的检测率仍然保持较高水平（表7）。在我们使用的计算模拟扰动条件下，即使每个氨基酸残基的替换率高达70%，BLASTx也能保持99%以上的检测率。
2. DNABERT-2在不同生物体上的性能无法实现良好泛化（表8）。留一有机体交叉验证的结果显示，其性能几乎处于随机水平（平均F1值为0.177 ± 0.110，平均AUC值为0.536 ± 0.041）。

负责任地发布成果与双重用途考量
本研究旨在评估各种筛查方法，以此提升生物安全的防护水平。该基准测试的目的是判断基于学习的分类器是否能够补充现有的筛查体系，而非用于提供逃避筛查的指导。本研究中所使用的扰动模型——即同义氨基酸替换和保守氨基酸替换——都是文献中早已为人所知的，不属于新的逃避筛查技术。在成果发布时，我们也避免了提供超出科学评估所需范围的、可能被用于实际逃避筛查的细节信息。

可重复性
有关完整的硬件、软件、随机种子以及指令细节，可参考附带的可重复性检查清单。关键参数如下：硬件：NVIDIA RTX 3090（24 GB显存）；随机种子：42（用于数据集划分和混淆处理）；BLAST版本：v2.16.0，BLASTn的相似性阈值设为≥90%，BLASTx的E值阈值设为≤10?5；用于划分数据的文件则通过split_manifest_v2.csv文件进行管理。

资金支持
本研究没有获得任何外部资金支持。

利益冲突声明
作者声明自己不存在任何可能影响本研究结果的已知财务利益关系或个人关系。

致谢
作者感谢DNABERT-2、ESM-2的开发者们，以及NIST提供的用于核酸序列筛查的测试数据集，是他们使得这些模型和数据能够被公开使用。

Dmytro Zaharnytskyi