编辑推荐:
累犯预测正日益嵌入刑事司法决策过程之中,然而大多数已部署系统仍然缺乏透明性,并且已被证明会对某些人口统计群体表现出歧视性行为。本文提出了一种面向公平性且具可解释性的累犯预测框架,并将其应用于来自保加利亚、希腊和葡萄牙的3个真实世界数据集。该分类框架的核心依赖于
累犯预测正日益嵌入刑事司法决策过程之中,然而大多数已部署系统仍然缺乏透明性,并且已被证明会对某些人口统计群体表现出歧视性行为。本文提出了一种面向公平性且具可解释性的累犯预测框架,并将其应用于来自保加利亚、希腊和葡萄牙的3个真实世界数据集。该分类框架的核心依赖于1维卷积神经网络(1-Dimensional Convolutional Neural Network, 1D-CNN),并通过一个自定义目标函数进行训练;该目标函数将平等化机会(Equalized Odds, EO)公平性准则嵌入为L1正则化(L1-regularized)惩罚项,以反映基于性别的假阳性率(false positive rate, FPR)与假阴性率(false negative rate, FNR)差异。模型层面的可解释性通过Kernel SHAP实现,该方法基于合作博弈论(cooperative game theory)将个体预测分解为加性特征归因。针对多个预测任务并在随机化重复运行条件下开展的实验表明,基线模型在所有数据集中均对女性群体表现出统计学显著偏倚。引入公平性约束的模型在所有任务中均显著降低了这些差异,而分类准确率仅付出适度且符合预期的代价。Kernel SHAP分析揭示了静态与动态犯罪者属性对个体风险评分的相对贡献,从而支持模型可审计性(auditability)与可争议性(contestability)。所提出框架推动了预测性能、算法公平性与结构性可解释性在刑事司法分析中的一体化整合。
该文发表于《Algorithms》,聚焦于刑事司法场景中累犯预测模型长期存在的两类核心问题:其一,预测系统往往以提升区分能力为中心,却忽视不同人口群体之间错误率分布的不平等,导致模型在高风险决策中可能复制乃至放大历史数据中的结构性偏差;其二,许多模型属于黑箱式架构,虽然在预测性能上具有吸引力,但其决策依据难以被审计、复核与质疑,不利于刑事司法领域对透明性、问责性与程序正义的要求。研究人员因此开展本研究,旨在构建一个同时兼顾预测效能、群体公平性与个体层面解释能力的统一框架,并以欧洲三国数据为基础,验证该框架在不同制度情境下的适用性。
文章首先系统梳理了累犯预测研究的背景。研究人员指出,累犯并非单一固定目标,不同研究可能将其界定为再逮捕、再定罪、再监禁、重新收押,或在特定随访窗口内产生新的指控,因此目标定义的差异会直接影响事件发生率、模型训练难度以及错误类型的法律含义。与此同时,累犯数据通常具有异质性、类别不平衡及跨机构记录不一致等特征,使得不存在普遍占优的模型家族。围绕COMPAS等工具所引发的争议进一步表明,公平性并不能由单一数学定义完全刻画,校准性、人口统计均衡、机会均等等指标常常彼此冲突,因此必须将公平性视为受约束优化或多目标优化问题,而不能仅作为训练结束后的附加评估步骤。在此基础上,研究人员强调,可解释性并不等同于简单性,而是涉及局部忠实解释、全局结构稳定性、特征作用透明性及面向决策者的可用性,因此有必要将解释机制纳入模型治理结构,以支撑可审计性、可争议性和人工监督。
为回应上述问题,研究人员提出了一种公平性感知且可解释的累犯预测框架。该框架以1维卷积神经网络(1D-CNN,适用于将表格特征视为空间序列并提取局部交互模式的神经网络)作为分类核心,通过卷积层、池化层、再次卷积、展平层与输出层构建二分类模型;在训练目标上,将二元交叉熵(binary cross-entropy)与平等化机会(EO)约束相结合,把基于性别的假阳性率与假阴性率差异纳入L1正则化惩罚,从而在优化准确率的同时压缩群体间错误率差异;在解释层面,则采用Kernel SHAP(基于Shapley值的模型无关解释方法)对个体预测进行分解,获得各输入特征对风险评分的加性贡献。文章的数据基础包括来自保加利亚、希腊和葡萄牙的3个数据集,其中保加利亚和希腊数据来自官方机构并完成匿名化处理,葡萄牙数据由于缺乏官方可用数据,依据公开统计分布与希腊数据分布人工合成,并经法律、机构和司法专家审核。研究共涉及5个预测任务:保加利亚1个“累犯风险评估”任务,希腊2个任务“3年内累犯”与“累犯”,葡萄牙亦为2个对应任务。论文最终得出结论:未加公平性约束的模型在全部数据集和预测任务中均表现出针对女性群体的显著偏倚;引入EO约束后,这种偏倚在全部任务中均明显下降,尽管准确率适度下降,但整体上实现了公平性、可解释性与竞争性预测性能的兼顾,这对于高风险刑事司法应用具有重要制度意义。
就主要技术方法而言,研究人员首先构建基于结构化表格数据的1D-CNN分类架构,并以随机梯度下降(stochastic gradient descent, SGD)完成训练;其次,将平等化机会(EO)中的FPR与FNR差异转化为可微分公平性损失,并通过L1正则化方式并入二元交叉熵目标函数,以实施训练过程中的偏倚缓解;再次,采用Shapiro–Wilk检验、t检验与Mann–Whitney U检验对100次随机重复实验结果进行推断统计分析;最后,使用Kernel SHAP在测试集上进行全局与局部归因分析。样本来源为保加利亚官方数据集4940例、希腊官方数据集12,422例,以及葡萄牙合成数据集4418例。
以下结合正文各部分小标题对研究结果进行解读。
Predictive Modeling Framework
研究人员在方法学部分详细给出了1D-CNN的结构化数学定义,将输入数据表示为n×m特征矩阵,使用两层Conv1D与一层池化操作来抽取局部特征依赖关系,再经展平层和sigmoid输出实现二分类预测。该设计的关键目的在于捕捉犯罪者社会人口学属性与累犯风险之间潜在的非线性关系。论文通过形式化公式说明了卷积核大小、特征图、步长、填充方式以及ReLU激活函数的作用,为后续公平性约束训练提供了可计算基础。
Fairness Analysis
在公平性分析部分,研究人员将性别设为受保护属性,其中Male为优势组,Female为非优势组。文章重点采用平等化机会(EO)作为公平性标准,要求在给定真实标签条件下,预测输出与受保护属性条件独立,具体体现为两组之间真阳性率一致,等价地要求假阴性率一致,同时假阳性率也一致。研究人员指出,在刑事司法中,FPR和FNR分别对应两类具有现实后果的错误,因此EO非常适合刻画高风险决策中的群体公平问题。
Model’s Optimization Process
在优化部分,研究人员没有停留于事后公平性审计,而是将EO约束直接嵌入模型训练。具体而言,在二元交叉熵之外额外构造了衡量FPR差异与FNR差异的公平性损失项,并通过正则化参数α控制准确率优化与公平性优化之间的平衡。研究人员强调,该公平性项在训练初期逐步增强,以避免过早扰动优化过程。由此,模型不再仅追求总体预测正确率,而是在学习过程中同步惩罚对女性群体不利的错误率差异。
Model Interpretability
在可解释性部分,文章引入Kernel SHAP对个体层面预测进行加性分解。研究人员给出了Shapley值的数学表达,说明如何借助背景数据集对“缺失特征”进行模拟,并通过加权最小二乘拟合局部代理模型,以获得每一特征对预测偏离基线值的贡献。该机制使模型不仅能够给出风险分数,还能说明哪些属性推动了某一名个体被判定为高风险或低风险,从而提高模型的可审查性。
Description of the Datasets
在数据描述部分,研究人员说明三国数据在输出定义上的差异。本文将累犯明确界定为出狱后的再监禁,排除了未导致羁押的再逮捕、单纯技术性缓刑违规和纯行政性返监。保加利亚数据受限于原始结构,只能以官方“累犯风险评估”作为输出,分为低和中风险;希腊数据提供“3年内累犯”与终生“累犯”两个输出;葡萄牙数据则通过结构化行政变量构建与希腊相似的两个输出。研究人员还区分了静态属性与动态属性:前者包括性别、国籍、出狱年龄、犯罪模式等短期内难以改变的变量,后者包括就业状态、教育状况、机构内行为等可干预变量。全文指出,本研究主要依赖静态预测因子,并以有限动态因子补充社会经济脆弱性信息。
Experiment 1: Descriptive Statistics of the Accuracy Performance
在实验1中,研究人员首先将1D-CNN与标准XGBoost和多层感知机(MLP)进行比较,以验证模型选择的合理性。结果表明,除葡萄牙“3年内累犯预测”中XGBoost略优于1D-CNN外,1D-CNN整体上优于XGBoost和MLP,因此被确定为本文算法架构的核心模型。随后,研究人员比较了偏倚缓解前后的1D-CNN准确率,结果显示所有数据集和任务中,加入公平性约束后准确率均有所下降。文章将这一现象解释为预期内的公平性—准确率权衡,即EO约束会限制纯粹面向总体分类性能的优化方向。
Experiment 2: Inference Statistics for Bias Estimation and Mitigation
实验2是论文的核心实证部分。研究人员基于100次随机初始化重复运行,对缓解前后模型的FPR、FNR及其组间差异进行统计分析。未进行偏倚缓解时,全部数据集中女性组的FPR均高于男性组;在希腊和葡萄牙数据中,女性组FNR低于男性组;保加利亚数据中女性组FNR高于男性组。通过Shapiro–Wilk正态性检验后,研究人员进一步采用t检验或Mann–Whitney U检验对男女组分布差异进行推断,结果在所有基线模型中p值均小于0.05,表明男女组错误率分布存在显著差异。研究人员据此认定,未加约束模型在全部数据集中都对女性群体存在偏倚。引入EO约束后,FPR与FNR差异在全部任务中显著缩小,且部分情形下无法拒绝“男女分布相同”的原假设,说明偏倚已被充分缓解;即便某些任务仍残留显著差异,其幅度也较基线明显降低。研究人员强调,这一结果说明公平性约束能够实质性改善模型行为,但由于优化过程未必达到全局最优,因此目标是尽可能减小偏差,而非形式上保证完全消除。
Experiment 3: Implementation and Study of the Predictive Parity Fairness Criterion
实验3进一步从预测均衡(Predictive Parity, PP)视角补充公平性分析。研究人员以阳性预测值(positive predicted value, PPV)为核心,构建PP约束并重复进行100次实验。结果显示,在未缓解偏倚时,男女组PPV存在明显不平衡,但这一不平衡程度低于EO分析中观察到的FPR/FNR差异;在引入偏倚缓解后,PPV组间差异同样得到收缩。研究人员因此认为,EO与PP两个公平性视角的结果相互印证,共同支持所提方法能够产生更公平的累犯分类预测。
Kernel SHAP Configuration, Attribution Analysis, and Fairness Interpretation
实验4聚焦模型解释。研究人员从训练集随机抽取1000个样本作为背景数据,对每个待解释实例采样2000个联盟,并在logit链接下计算SHAP归因。全局结果显示,影响最大的特征家族包括“通过劳动减刑”“刑罚已履行”“免于服刑”“多罪判刑”,其次为婚姻状态分组与教育水平分组;相较之下,性别和国籍的全局重要性极低,而服刑天数与刑期天数几乎没有贡献。局部瀑布图进一步显示,高风险预测主要由未获免刑、已履行刑罚、通过劳动减刑、多罪判刑等变量推动,而性别并非主要局部驱动因素。研究人员据此指出,在公平性约束模型中,预测结构主要由刑罚管理与法律状态变量驱动,而非直接依赖受保护属性,这与EO缓解结果一致,并表明SHAP可以作为群体公平审计的补充工具,用于揭示残余不平等可能经由哪些操作性变量产生。
综合讨论部分,文章的主要贡献在于将预测性能、算法公平性与可解释性纳入同一技术框架,而不是分别处理。研究结果表明,刑事司法中的累犯预测若仅使用标准分类目标,极易复制历史结构偏差,尤其会在女性群体上产生更高的错误性风险归类;相反,将EO约束内嵌到训练目标中,能够在可接受的精度损失下显著减少这种群体间不平等。与此同时,Kernel SHAP提供了从全局到个体层面的结构化解释,使模型输出能够被审计、被质疑并服务于人工监督。论文因此不仅提供了一种技术路线,也回应了刑事司法中关于透明性、可问责性与制度可信性的治理要求。
研究结论部分可译述如下:本研究开发并评估了一种面向公平性且具可解释性的累犯预测框架,该框架整合了1维卷积神经网络(1D-CNN)、自定义平等化机会(EO)约束损失函数以及基于Kernel SHAP的解释机制。该框架应用于来自保加利亚、希腊和葡萄牙的3个不同机构数据集,覆盖5项预测任务,并通过每个模型的独立重复运行获得了统计上稳健的结论。实验结果证实,在没有公平性约束时,机器学习模型在所有数据集和预测时间范围内均对女性群体表现出显著歧视行为;具体而言,所有基线模型中男性与女性犯罪者之间的假阳性率和假阴性率均存在统计学显著差异,表明标准分类目标会再现并放大历史刑事司法数据中的结构性偏差。引入公平性约束后,模型显著降低了基于性别的错误率差异;在若干实验情形中,偏倚缓解后无法拒绝男女组分布相等的原假设,表明预测处理已实现完全均衡;在仍存在显著差异的情形中,其幅度也明显小于基线模型。正如预期,公平性约束的引入带来了总体分类准确率的适度下降,这反映了无约束预测优化与人口群体公平对待之间真实存在的张力。Kernel SHAP分析则为受约束模型提供了个体层面与全局层面的可解释性,识别出年龄、犯罪史和犯罪特征等静态属性是三国数据集中个体风险预测的主导因素,这与既有犯罪学理论一致,并为模型审计、可争议性及机构监督提供了依据。总体而言,这些结果表明,在结构化刑事司法数据场景中,公平性、可解释性与有竞争力的预测性能可以在统一设计框架内被同时追求。