《Behavioral Sciences & the Law》:Optimized Risk Assessment in Forensic Practice: A Comparison of Machine Learning and Manual Scoring Approaches
编辑推荐:
随着矫正司法管辖区和风险工具开发者寻求针对特定人群需求优化评分,一个开放性问题仍然存在——哪种方法最优。流行的评分方法范围从简单的手动评分方法(如Burgess)到更复杂的机器学习算法(如随机森林)。先前方法间的比较产生了类似可接受的预测效度水平。本研究比较了
随着矫正司法管辖区和风险工具开发者寻求针对特定人群需求优化评分,一个开放性问题仍然存在——哪种方法最优。流行的评分方法范围从简单的手动评分方法(如Burgess)到更复杂的机器学习算法(如随机森林)。先前方法间的比较产生了类似可接受的预测效度水平。本研究比较了评分方法,超越预测效度还评估了校准、项目包含和项目权重,并讨论了每种方法的缺点。研究人员为一项精算释放决策风险评估工具——能力降低评估(Reduction in Capacity Evaluation, ReduCE)——使用手动(未加权、Burgess、Nuffield、Nuffield 2.5、回归)和机器学习(人工神经网络、随机森林)评分方法开发了评分。机器学习方法在预测效度或校准方面并未优于手动方法,并在项目包含和权重方面引入了缺点。ReduCE的最优方法是Nuffield 2.5方法。
**论文解读文章**
**研究背景与问题**
在刑事司法领域,司法管辖区和工具开发者正致力于开发和改进用于决策的风险评估工具的预测准确性。最佳实践建议评估评分是否应针对更本地化的司法管辖区及其感兴趣的结果进行调优,以改善预测(Hamilton et al. 2021)。一个开放性问题是什么样的评分方法最能满足刑事司法人群的需求。评分开发方法从长期使用的手动方法(如Burgess和Nuffield方法)到基于机器学习算法的方法(如随机森林方法)不等。尽管手动和机器学习方法似乎都能产生可接受的预测效度水平,但对每种方法缺点的评估是必要的。越来越多的工具开发者使用机器学习算法来优化风险评估工具的评分。一些研究者认为机器学习通过产生最准确的预测并考虑项目间复杂的非线性关系,有可能提高性能。然而,直接比较评分方法并未普遍支持这一潜力。一些研究显示机器学习方法对预测效度有适度改善,但其他研究显示与手动方法相比无显著改善。尽管有优化预测准确性的潜力,但机器学习在工具开发中的使用受到法医实践研究者的广泛批评。机器学习算法利用计算能力有效测试算法以达到优化结果,但一些算法产生不透明或不可解释的黑箱结果。透明度对于涉及法医实践的预测工具尤为重要。例如,随机森林方法产生的高预测工具被发现过度加权静态因素。本研究旨在比较手动和机器学习评分方法,超越预测效度还评估校准、项目包含和项目权重,并讨论每种方法的缺点。研究使用同一工具——能力降低评估(ReduCE)——开发评分,ReduCE是一个18项精算工具,旨在识别大规模减刑努力中早期释放的候选人。最优评分方法应确保包含该工具选定的项目,并确保静态项目的权重不否定可能减轻风险的信息的影响。
**研究内容与结论**
研究人员比较了常用的手动(Burgess、Nuffield、Nuffield 2.5、回归)和机器学习(人工神经网络、随机森林)评分方法,基于四个指标评估功能性和公平性:(1)项目包含/排除,(2)项目权重,(3)预测效度,(4)校准。目标是识别在不牺牲工具有意纳入项目重点的情况下优化预测的评分方法。研究样本来自加州矫正与康复部(California Department of Corrections and Rehabilitation, CDCR)2020年4月1日至2020年12月31日期间释放的所有成年人(N=30,562),并随机分为开发子样本(n=15,244)和验证子样本(n=15,318)。研究得出以下结论:机器学习方法在预测效度或校准方面并未优于手动方法,并引入了项目包含和权重方面的缺点。对于ReduCE工具,最优方法是Nuffield 2.5方法,该方法保留了所有项目,允许对减轻风险因素进行评分,并提供了良好的预测效度和校准。论文发表在《Behavioral Sciences》。
**主要关键技术方法**
研究使用的主要关键技术方法包括:手动评分方法(Burgess方法、Nuffield方法、Nuffield 2.5方法、逻辑回归方法)和机器学习方法(人工神经网络、随机森林)。样本来源为加州矫正与康复部(CDCR)释放的30,562名成年人,分为开发子样本和验证子样本。所有分析使用SPSS和R软件进行。预测效度通过受试者工作特征曲线下面积(Area Under the Curve, AUC)评估;校准通过期望/观察(E/O)指数方法评估。
**研究结果**
**3.1 子样本**
两年内任何原因返回羁押的比率在子样本间相对稳定。女性返回率较低,观测数少于100。
**3.2 评分开发**
**3.2.1 手动方法**
- **Burgess方法**:三个项目被排除,均为减轻风险因素(教育功绩学分、里程碑完成学分、康复成就学分)。每个项目最大贡献为+1,历史与近期项目影响平衡取决于项目数量。
- **Nuffield方法**:三个项目被排除,其中两个减轻风险因素(项目完成、MCC学分)和一个历史项目(斗殴标志)。每个项目评分范围为+/-3,近期项目仅贡献减轻风险。
- **Nuffield 2.5方法**:改进了评分敏感性,无项目被排除,评分范围更宽。
- **回归方法**:使用比值比(Odds Ratios, OR)作为权重,所有项目方向符合预期。减轻风险项目效应量小于加重风险项目。
**3.2.2 机器学习方法**
- **人工神经网络**:两个历史项目(暴力标志、斗殴标志)因低重要性被排除。模型误差从15%改善至13%,预测效度(AUC)从0.62提升至0.70。历史因素为四个最重要预测因子,近期因素为三个最不重要。
- **随机森林**:不提供可解释的项目权重,但输出项目重要性。三个最不重要预测因子中两个反映近期行为(3年内严重规则违规、教育功绩学分),但被保留。最重因素为服刑时间、前科次数和索引刑期长度。
**3.3 性能评估**
**3.3.1 预测效度**
在验证样本中,所有方法预测任意返回的AUC为0.65-0.69(良好水平),回归方法显著较低(AUC=0.62)。随机森林方法对黑人个体预测任意返回显著低于白人或西班牙裔(AUC=0.66 vs 0.69-0.70)。预测新重罪返回时,所有方法AUC为0.64-0.74(良好至优秀),Burgess、Nuffield、Nuffield 2.5方法优于其他方法(AUC=0.74-0.77 vs 0.64-0.72)。预测假释违规返回时,Burgess方法不显著,其他方法为公平水平(AUC=0.57-0.61)。在不同种族和性别间,Nuffield 2.5方法表现一致。
**3.3.2 校准**
在验证样本中,手动方法(Burgess、Nuffield、Nuffield 2.5)在不同种族和性别间校准良好。回归和随机森林方法在低风险组区分不佳。人工神经网络方法对西班牙裔Level III组预测不足。未加权方法对西班牙裔Level III组分类不足。
**总结与讨论**
讨论部分比较了各方法在项目包含与权重、风险分类和预测效度方面的表现。Nuffield 2.5方法修正了Burgess和Nuffield方法排除减轻风险项目的缺点,并提供了透明且可解释的评分。机器学习方法未优于手动方法,且缺乏透明度,无法解释项目权重。研究结论指出:对于ReduCE工具,最优评分方法是Nuffield 2.5方法,因为它保留了所有项目,允许对减轻风险因素进行评分,并提供了良好的预测效度和校准。机器学习方法因未优于手动方法且缺乏透明度,其使用不值得引入决策中的风险。研究局限性包括仅比较了两种常用机器学习方法,未来研究应扩展至其他评分方法。
**结论部分翻译**:
对于ReduCE工具,研究人员寻求选择表现最佳的方法,该方法应包含历史项目以及反映近期行为并能捕捉减轻风险亲社会行为的项目。回归方法在预测效度方面表现最差,且风险分类表现不佳。Burgess方法也有几个缺点,包括在本研究中未预测假释违规返回,排除了动态项目且不允许对减轻效应进行评分。Nuffield方法也排除了减轻风险项目。尽管Nuffield方法与Nuffield 2.5方法具有相似的预测效度,但项目选择的局限性使其不如其他方法有利。
本研究中的机器学习方法并未优于手动方法。由于机器学习方法未优于手动方法,使用机器学习方法无法抵消项目权重缺乏透明度引入的决策威胁。这一结论得到该领域研究机器学习的法医预测研究者的支持。在高度受审的决策环境中,决策尽可能透明才能被辩护,这一点至关重要。随机森林方法对项目重要性的检查显示,近期因素对决策的影响低于历史犯罪历史因素。总体而言,由于这些机器学习方法未优于手动方法,其缺乏透明度的问题不能被忽视。