专业标题 法庭物证认定证据之基础评估：对特征比对( pattern-comparison )专业水平测试( proficiency test )设计与结果的关键审视

《Proceedings of the National Academy of Sciences》：Assessing the foundations of forensic identification evidence: A critical examination of proficiency test design and results

　　

摘要：专业水平测试( Proficiency testing )被广泛用于评估医学、工程及其他高风险领域的专业能力。在法庭科学( forensic science )中，此类测试结果常被法庭引为证据，用以证明特征比对方法（如指纹、枪弹痕迹、笔迹）具有准确性与可靠性。然而，专业水平测试的科学价值取决于其试题设计、评分规则及结果能在多大程度上支持对真实案件工作表现的合理推断。近期一项针对法庭 firearm认定( forensic firearm identification )——即通过比对子弹与弹壳判断其是否由特定枪支发射——的专业水平测试报告假阳性( false-positive )错误率接近20%。该结果的广泛意义超越所报告的数字本身。研究人员识别出法庭科学专业水平测试中可能出现的若干局限性：使用未能反映真实案件难度的测试样本；依赖共识评分( consensus scoring )而非经独立验证的真实情况( ground truth )；对"存疑( inconclusive )"应答处理方式不一致；不同受测者所用测试材料存在差异；以及易受包括非盲复核( nonblind verification )在内的情境偏差( contextual bias )影响的程序。这些特征使得难以将检验人员个人表现与测试本身属性区分开来，并削弱了所报告分数可估算实际运行错误率的主张。设计合理的测试本可测量个体绩效差异、识别错误来源、评估决策阈值，并向法庭提供关于可靠性的更有意义证据。尽管本文聚焦于枪械检验，上述挑战同样适用于指纹、笔迹等其他特征比对学科。研究人员认为，有必要对法庭科学专业水平测试进行全面的、基于证据的改革。

论文解读：法庭物证认定证据之基础评估——对特征比对专业水平测试设计与结果的关键审视

本研究发表于《Proceedings of the National Academy of Sciences》（PNAS）。

一、研究背景与问题提出

法庭科学中的特征比对学科（pattern-comparison disciplines），如指纹( fingerprint )、法庭 firearm与工具痕迹检验( forensic firearm and toolmark examination, FTE )、手写鉴定( handwriting analysis )，长期依赖人类视觉系统对被比对客体（如弹头膛线痕迹、指纹乳突纹线）进行测量与分类，进而作出"同一( identification/individualization )""排除( elimination/exclusion )"或"存疑( inconclusive )"的源身份判定。由于此类判定常直接关联犯罪嫌疑人定罪与否，其准确性与错误率( error rate )须经受实证验证( empirical validation )。

目前，法庭科学界主要采用两类方式试图验证特征比对方法的可靠性：大尺度验证研究( large-scale validation studies )与从业人员专业水平测试( proficiency testing, PT )。既往大型枪械验证研究普遍报告极低的错误率（<1%），并被控方频繁引用于庭审中以佐证专家证人资质及方法可靠性。然而，独立分析指出这些数据存在质量缺陷。另一方面，商业机构如Collaborative Testing Services, Inc.（CTS）提供的PT被各实验室用于内部质控及认证维持，其结果（通常错误率≤1%）亦常被控辩双方作为该方法总体错误率的替代指标呈堂。但CTS测试材料通常被设计为"相对容易通过"，且2023年CTS子弹比对测试（编号23–5262）意外曝出近20%的假阳性错误率，引发学界震动。现有PT在试题难度代表性、评分依据（ground truth vs. consensus）、存疑结论处理、材料变异性及认知偏差防控等方面均存在结构性缺陷，使其无法真实反映实际办案错误率。为此，研究人员以2023年CTS枪械PT异常结果为切入点，系统剖析现行法庭科学PT设计与管理中的深层问题，论证改革必要性并提出改进方向。

二、主要研究方法概述

研究人员采用文献与案例分析法，重点对2023年CTS枪弹认定专业水平测试（Test 23–5262）的设计参数、考生作答数据（含AFTE即Association of Firearm and Toolmark Examiners发布的调查报告数据）、评分方式（绝对评分absolute scoring vs. 共识评分consensus scoring）、试题间材料变异性（shot-to-shot variability）、以及AFTE委员会对高错误率原因的归因进行批判性审查；结合信号检测论( Signal Detection Theory, SDT )框架与既往实证研究（如非盲复核影响、认知偏差研究），对照理想PT应具备的六项属性——区分度、全项评分、明确评分规则、试题等效性、排除无关情境信息、盲法复核——逐项指出现行CTS PT与上述标准的偏离，并将结论推广至其他特征比对学科。无实验动物或临床队列，属理论批判与制度分析性研究。

三、研究结果

（一）Forensic Validation Through Proficiency Testing（通过专业水平测试进行的法庭科学验证）

PT具三项功能：实验室内部质控与人员最低胜任力筛查、认证机构（如ASCLD/LAB）维持认可之必要条件、庭审中非正式但实质被用作专家资质与方法可靠性的佐证。CTS以match-to-sample范式提供已知样本与待比对象，汇总Yes/No/Inconclusive作答并依多数或ground truth判定对错，公布错误率常≤1%。CTS总裁承认商业压力致试题趋易。AFTE与CTS均声明PT不表征行业整体错误率，但庭审中常被如此解读与使用。2023年CTS子弹测试所有待比弹（Items 2–5）均非来自已知样本枪支（Item 1），却出现19.2%（排除易排除项后）至约20%的整体假阳性率，22%的检验员至少犯一次假阳性错误，近半作答为Inconclusive。

（二）What Accounts for Poor Examiner Performance?（检验员表现不佳的原因）

AFTE调查委员会归纳三类原因：外部无关信息或预期影响结论、对实验室存疑结论政策误解致"猜测"、将"未发现不符"误判为"充分吻合"而作出同一认定。AFTE建议完善CTS方法与培训。研究人员肯定此调查价值，但指出AFTE聚焦检验员个体失误，忽视PT设计与学科基础结构问题，故本文转向后者剖析。

（三）What Should We Expect from a Proficiency Test?（专业水平测试应满足的预期属性）

理想PT需具备：①能区分最优与最差表现者（试题难度梯度防天花板/地板效应）；②所有作答含存疑结论均参与评分防偏倚；③明确定义评分规则——尤如何评价Inconclusive及采absolute scoring（基于ground truth）还是consensus scoring（基于群体多数），并论证合理性；④不同批次同能力测试材料难度与清晰度可比（利于absolute scoring预测真实表现）；⑤排除任务无关信息防期望偏差( expectancy bias )改变决策阈值；⑥禁用非盲复核( nonblind verification )，若复核应盲态且需进一步验证其有效性。

（四）How Do CTS Proficiency Tests Conform to These Ideals and What Does that Reveal About Forensic Practice?（CTS PT对上述标准的符合度及其对法庭科学实践的揭示）

On Test Difficulty: Easy Out of Class Eliminations.（关于测试难度：易于排除的类特征题目）——CTS常含基于类特征( class characteristics，如口径、膛线条数/旋向 )即可排除的异类枪支比对（out-of-class comparison），此类题几无主观解释空间，98.2%考生正确排除，致反应分布天花板，无法区分中等以上水平检验员。但仍有1.5%检验员未正确排除（1例作同一认定，4例作Inconclusive），以往研究亦有约1/3排除基于类特征或混淆类特征、甚至将异类误作同一认定（罗德岛州犯罪实验室事件）。AFTE报告称若类特征差异"可辨别( discernible )"则Inconclusive不当但未定义discernible，且未深究为何检验员看不出同行轻易辨别的差异——暗示基础训练中类特征辨识存在缺陷。此外CTS材料通常较真实案件容易，无证据证明其难度分布匹配真实案卷，故错误率不可外推至实际操作风险。

The Issue of Inconclusive Results: A Missing Explanation and Unproductive Commentary.（存疑结果问题：缺失的解释与无效评论）——CTS 23–5262中~48%作答为Inconclusive。AFTE报告称Inconclusive未必非错但实验室应评估其适当性却不给出判定标准（如材料质量足以支持确定性结论时仍出Inconclusive属不当），且无明确操作指引。部分检验员因误解实验室QA手册以为禁用Inconclusive而被迫猜答致错。既往Ames I等研究揭示AFTE五点结论量表中Inconclusive应用缺乏跨从业者一致性解读。研究人员建议建立基于证据的材料适格性标准及培训，并推荐引入Signal Detection Theory要求检验员对每判断附信心评级( confidence rating )，可连续估计辨别力( discriminability, d′ )与决策阈值( decision criterion, c/β )，优于二元分类。

The Role and Limitations of Consensus in Proficiency Testing.（共识评分的作用与局限）——CTS混合使用ground truth与consensus scoring（本题中Elimination依ground truth判对，Inconclusive依多数判对）。AFTE报告既依赖consensus定义预期答案又质疑其正当性（假设多数错时个体依ground truth答对却被consensus判错）。研究人员指出若采consensus scoring则"多数即正确"是定义问题；另称"特别优秀检验员看出细微线索被consensus误判错"无法被实证区分。CTS 23–5262实系host lab多位AFTE认证检验员预筛+三家lab预分发测试确定双正确选项（ex ante consensus）。共识评分在无客观量化标准时有用，但法庭科学应力求减依赖，借助3D表面分析与自动评分系统设定量化相似性阈值。若剔除Inconclusive不计分母，本测试假阳性率可达约35%。

The Reproducibility of Judgments and Test Items.（判断与测试物品的可重现性）——AFTE报告披露同枪发射不同套次子弹标记质量差异致一套宜作确定性结论另一套宜Inconclusive，使考生实际未完成"相同"测试，汇总数据混淆人员能力与材料变异。Law & Morris用双铸( double cast )塑壳控制材料变异仍见判断差异，说明部分变异源自检验员。更大隐患是：枪械印记shot-to-shot variability威胁"每支枪留独特可重现个体特征( individual characteristics )"这一枪弹认定的基本前提；若无重现性则难辨所见痕迹是个体的、亚类( subclass characteristics )的还是随机瞬变。无枪可供比对时常案卷情形更使个体特征认定失去可验证基准，至多能做类特征评论。

Cognitive Bias and the Power of Expectation.（认知偏差与期望效应）——CTS答题表格式或说明可能暗示"存在匹配项"( closed-set assumption )，部分检验员自述"假定必有一枚匹配"致降低同一认定阈值。真实办案中侦查人员提供案情（暗示某枪为来源）、NIBIN( National Integrated Ballistic Information Network )/IBIS( Integrated Ballistic Identification System )系统输出明示"须由训练有素检验员确认匹配( confirm the match )"，均构成强期望偏差( contextual bias / expectation bias / test-taking bias )。盲法( blinding / double-blinding )设计在PT与办案中均缺位。

Nonblind Verification and other unvalidated practices should not be used.（不应使用非盲复核及其他未验证做法）——部分假阳性检验员称结论经同实验室另一合格检验员"独立但非盲( not blind )"复核并获同意。实证研究表明非盲复核使第二人知晓首检结论时异议几率仅为盲复核的1/5，且存地位效应( status effect )强化首检错误而非纠错，制造虚假印证假象。复核若实施必须盲态，且其实际效用需更多研究。

四、讨论与结论翻译

研究人员指出2023年CTS PT近20%乃至不同计分假设下更高之假阳性率动摇了枪械检验员"高度准确同一认定"的传统主张。法官依Daubert与Frye标准对专家资质及枪弹认定科学基础应施以更严格审查，警惕基于简易PT得出的近完美准确率宣称。当前PT实践掩盖了检验员表现与测试设计的根本弱点，削弱其对实验室质控、认证及真实表现预测的价值。CTS 23–5262暴露的系统性弊端——测试不反映真实案件难度、类特征基础训练不足、非盲复核、调查线索诱导期望偏差——显示庭审证言可能深受脱离客观可重现科学之力的影响，存致错判风险。虽AFTE主动溯源值得肯定，问题须通过制度改革解决。持续依赖夸大之法庭科学确定性将侵蚀司法公信力并致不公。前行之路需技术精进，也需朝向透明、科学严谨与认知谦逊( epistemic humility )的文化转变，推动从业员、警方、法律人与科学共同体协作。研究人员总结：法庭科学特别是特征比对领域之专业水平测试亟待全面、基于证据之改革——合理设计之PT应能测个体绩效差异、定位错误源、估决策阈值并向法庭提供更切实际之可靠性证据。