《Methods in Ecology and Evolution》：Discovering the unseen: A performance comparison of taxonomic classification methods for unknown DNA barcodes
编辑推荐：
DNA条形码与宏条形码已成为表征局域生物多样性的低成本、标准化方法。基于靶向扩增短基因片段的测序，理论上可通过与参考序列数据库比对来鉴定广泛类群的物种。然而，准确分类学的瓶颈在于此类数据库的不完备性，导致大多数查询序列缺乏物种水平的匹配。在物种水平匹配缺失时，
DNA条形码与宏条形码已成为表征局域生物多样性的低成本、标准化方法。基于靶向扩增短基因片段的测序，理论上可通过与参考序列数据库比对来鉴定广泛类群的物种。然而，准确分类学的瓶颈在于此类数据库的不完备性，导致大多数查询序列缺乏物种水平的匹配。在物种水平匹配缺失时，可依据近缘参考分类单元的同源性将查询序列归类至属或科等更高分类阶元，此时的挑战在于如何确信地识别该序列是否属于某一给定阶元上未观测到的（本文称“新”）分类单元。研究人员评估了多种分类学分类方法的性能与实用性，依据观测与新分类单元的分类准确度、预测置信度估计的准确性及计算资源消耗进行评判。研究聚焦于两类广泛案例：节肢动物COI条形码与真菌ITS条形码，后者代表类群内序列长度变异显著的实例。为基准测试新分类单元的分类，研究人员采用训练集与测试集分类学分布部分相异的精选数据集；新分类单元出现于所有受评分类阶元，如观测属中的新物种与观测科中的新属。研究人员进一步评估了当测试数据从全长条形码转向宏条形码生成的短序列时的性能变化。本研究阐明了不同分类算法在类群与条形码特征间的优势与局限：系统发育放置方法（如EPA-ng）对节肢动物COI条形码分类表现卓越，而组成型分类器（如SINTAX、RDP-NBC、IDTAXA）对真菌ITS更为适用。差异可能反映条形码属性：COI可比对且受进化制约，利好系统发育放置；ITS则因变异过大难以可靠比对，但富含短基序（k-mer）信号，利好组成型分类器。多数算法中，短亚区表现与全长条形码相当，支持短读长用于高通量宏条形码。
1 引言
DNA条形码近年成为表征生物样本的多功能方法，依赖短标准化基因片段，利用已有DNA参考数据库将未知标本归入林奈分类系统。该技术结合高通量测序，可实现大量个体标本的快速平行测序及混合样本的整体分析，即DNA宏条形码。由此，测序流程成为大尺度生物多样性监测的必备工具。早期研究多关注查询序列在数据库中存在近匹配的情形，但理想条件罕见：许多高等多样类群的分支尚未描述或缺乏参考序列。全球物种估计数与注释数据库规模存在显著差距，如昆虫估计260万–720万种，而高质量数据库仅涵盖约28.3万具正式种名的序列簇；真菌估计100万–1200万种，数据库仅约5.3万正式注释种。测序努力亦偏重欧美，致使多数多样性热点地区代表性不足。由于分类群与地理覆盖有限，核心挑战在于对数据库中缺失分类单元的标本进行分类。研究人员将数据库未收录者称为新分类单元，以区别于已收录的观测分类单元。准确识别新分类单元对稳健生态推断至关重要，亦可指导针对性采样以充实数据库。分类算法须预测查询序列是否属观测种，若否，则正确指派新分类单元至末个观测阶元（如新属的科、新种的属）。保守置信阈值可降低过度分类，但可致欠分类。新分类单元分类还因序列相似度与最低共同阶元间无恒定关系而复杂化，故需校准的不确定性估计。
条形码区域生物学属性因类群而异。粒线体细胞色素c氧化酶亚基1（COI）在动物中通常658 bp（Folmer区），因功能制约易比对；核核糖体内部转录间隔区（ITS）在真菌中由ITS1与ITS2及5.8S rRNA组成，长度与排列多变，难做跨类群多序列比对。COI与ITS代表常用条形码特征谱的两端，构成分类的独特挑战。
1.1 分类学分类器概览
算法分为五类：相似性基、组成基、概率基、系统发育基及神经网络分类器。表1汇总所选算法特征。相似性基以BLAST为代表，取top命中或设定相似度阈值（如97%）或KNN共识（CREST4），但不提供数值置信度或区分新分类单元。组成基将序列拆为k-mer剖面，RDP-NBC、SINTAX、IDTAXA借bootstrap产生各阶元数值置信度，仍不能区分不确定性与新颖性。概率基如BayesANT与PROTAX，用统计框架估查询属某分类单元的概率，显式建模新分类单元可能，提供校准概率，可利用全分类树信息。系统发育放置如EPA-ng，将查询置于参考树分枝，借Gappa映射至分类，新分类单元表现为观测 clade外放置，但需全局比对，故仅测COI。神经网络如MycoAI，含CNN（k-mer剖面）与BERT（BPE），层级标签平滑提供各阶元置信度，不显式区分新颖性。既往比较表明top-hit准确率高但难分类新分类单元。本研究首次用真实地理与方法学拆分生成部分重叠集，以分类阶元定义新颖性，评测COI与ITS在全长与短区下的性能，不特调参数，评准确度、校准、覆盖与算力。
2 材料与方法
2.1 数据描述与预处理
训练集与测试集部分分类重叠。COI以芬兰Barcode of Life（FinBOL）为训练，德国Barcode of Life（GBOL）为测试，取Arthropoda标本每物种至多11条，要求种级鉴定、COI-5P区、≥600 bp，比对Folmer区，次阶元缺省用dummy占位。部分算法需显式林奈阶元故重编码。测试短集（testshort）去首240 nt及80 aa以模拟BF3引物后段。ITS以Westerdijk培养物为训练，UNITE参考序列为测试，用ITSx、cutadapt、LSUx提ITS，incertae sedis附最近低阶名消歧，testshort仅留ITS2。
2.2 分类算法
各算法以训练集训后分类测试与testshort，取最高置信预测且不与高阶冲突。设允许缺失预测（MP）与强制预测（FP）。PROTAX与EPA-ng可增信息：PROTAX加全分类树；EPA-ng参比树分自由树、分类约束树（tax）、系统发育约束树（phyl）。
2.3 数据划分
序列级分“全域观测”与“任处新颖”；阶元级分“观测分类单元”与“新分类单元”，后者指该阶元新且高阶已观测。
2.4 性能指标
准确度含正确新颖预测为真阳。边际召回为组内正确预测比，条件召回限高阶正确者。误分类率、过度分类率、欠分类率依Edgar定义。覆盖为赋标比例。校准绘累积置信对累积正确率。
2.5 计算资源
于CSC Puhti超级计算机测时、存、核扩展。
3 结果
3.1 分类准确度与召回
FP下全域观测种属准确度COI与ITS均>93%与78%。任处新颖则降至9%–58%（COI属）与12%–40%（ITS）。显式辨新颖者（EPA-ng、BayesANT、PROTAX）COI 12%–44%，ITS 0%–29%。COI中EPA-ng约束树最优；ITS中组成基IDTAXA、RDP-NBC、SINTAX属上近同但种级零准确。观测分类单元边际召回低于对应阶元准确度，相似性基除BLAST top-hit均低。新分类单元仅三法显式预测，EPA-ng与BayesANT条件召回佳，PROTAX在ITS属种可比。
3.2 错误率
误分类率低；过度与欠分类权衡明显。MycoAI与BLAST top-hit无阈致满过度分类。EPA-ng过度分类较高，BayesANT在COI平衡优。ITS中BayesANT过度分类多。
3.3 预测覆盖
准确度与覆盖权衡，EPA-ng在COI种级满覆盖仍准。无置信算法为定点。
3.4 置信校准
全域观测校准良；任处新颖MycoAI两标记均准，其余或有高估。
3.5 短序列与氨基酸序列
短读全长观测准确度似全长，除MycoAI及ITS的dnabarcoder等。氨基COI降观测准确度，但BayesANT等新颖处反升。
3.6 计算资源
无性能资源正相关。SINTAX速且准，MycoAI训久占存大。EPA-ng胺基慢。并扩大多数受益。
4 讨论
4.1 高准确度以预测覆盖为代价
各法普存权衡。生态监测可容低准求覆盖，网络分析需准。应供校准置信。显式辨新颖避阈值误读，利真信号提取。
4.2 不同算法类适于不同遗传标记
ITS组成基优因非编码平滑变异；COI系统发育放置优因进化模型用位异速。二者指引选算依据。
4.3 性能非算力决定
ITS佳者SINTAX最轻，COI佳者重算也可行。实库大小或限重算。
4.4 读长限制影响微
短读多类无差，dnabarcoder与MycoAI或因训测长度不匹配而降，非固有缺陷。
4.5 分类学不确定性下载分类
高阶分类需标记足析。无普适阈。系统发育放置直演缘，但赖分类反映演化。
4.6 数据集现实代表与偏倚
地理法、培养法偏近真际但未尽。本文估为上界，盼日后评噪鲁棒。
4.7 算法选用建议
库完时SINTAX效显；缺库时COI用EPA-ng、ITS用组成基，须辨新颖者如EPA-ng、PROTAX、BayesANT。两阶策：先SINTAX高阈滤观测，后EPA-ng处余。默参已足导践。
