基于多目标群智能优化的决策软件偏倚缓解方法研究及其在公平性提升中的应用

【字体: 时间:2025年07月26日 来源:Expert Systems with Applications 7.5

编辑推荐:

  为解决决策软件中存在的偏倚问题,研究人员提出了一种基于多目标群智能的偏倚缓解方法MOSIBIM。该研究通过结合Pareto前沿、niching和参考点等优势多目标优化技术,在保持分类器精度的同时显著提升公平性。实验表明,MOSIBIM在六个真实场景中平均改善公平性达66.6%-76.6%,最高达91.7%,且所有案例均提高了原始模型精度,为决策软件的公平性优化提供了新思路。

  

在人工智能技术深度融入社会决策的今天,从信贷审批到医疗诊断,越来越多的关键决策权被交给了算法系统。然而这些"数字裁判"背后隐藏着一个严峻问题:算法偏倚(bias)。2024年Liao等人的研究就发现,医疗决策软件中存在显著的种族偏倚;而Agarwal的研究则揭示了信贷算法对特定人群的系统性歧视。这些"带偏见的代码"正在现实生活中制造着新的不公平,亟需有效的技术解决方案。

传统偏倚缓解方法面临"公平-精度"的权衡困境:提升公平性往往以牺牲模型精度为代价。现有方法主要集中于预处理和建模阶段,而对训练后(post-processing)阶段的优化研究相对薄弱。更关键的是,当前仅有的两种后处理方法(HC和VND/BVNS)都是基于单点搜索的非群体算法,无法充分利用多目标优化的优势。这一技术空白正是MOSIBIM研究的出发点。

研究人员创新性地提出了多目标群智能偏倚缓解方法MOSIBIM。该方法首次将优势多目标优化(包括Pareto前沿、niching和参考点技术)、群体进化计算、群智能以及收敛-停滞分化策略相结合。其核心是改进的人工蜂群算法(ABC),通过雇佣蜂、观察蜂和侦察蜂的协同搜索,在2500次评估的相同条件下,显著超越了现有方法。研究选用逻辑回归(Logistic Regression)和决策树(Decision Tree)两种典型分类器,在涵盖医疗(MEPS)、金融(ACI、BM)和司法(COMPAS)等领域的六个真实数据集上进行验证,这些数据集均来自权威的AIF360公平性评估框架。

关键技术方面,研究采用多目标优化框架同时优化精度(ACC)和公平性(EOD)。对于逻辑回归模型,通过系数整体扰动实现变异;决策树则采用随机节点剪枝策略。算法通过快速非支配排序(fast non-dominated sorting)和niching操作保持解集的多样性和收敛性,并创新性地引入备份机制区分真正收敛解和停滞解。统计显著性检验采用ANOVA或Mann-Whitney U检验(视数据分布而定),显著性水平设为0.05。

研究结果部分显示:

  1. 在逻辑回归模型中,MOSIBIM的公平性改善显著:相比原始模型平均提升75.059%,最高达85.443%(ACI-sex数据集);相比次优的HC-V方法平均提升66.624%。所有比较均具有统计显著性(p<0.001)。
  2. 精度提升方面,MOSIBIM平均提高0.897%,是HC-V方法(0.143%)的6倍以上,且在5/6数据集上差异显著。
  3. 决策树实验中,MOSIBIM展现出更强的偏倚缓解能力:相比原始模型平均改善76.597%,在MEPS-race数据集上更达到91.667%的惊人提升。
  4. 与Hill Climbing相比,MOSIBIM在公平性上平均领先73.555%,尽管在精度提升上略逊(2.582% vs 4.102%),但考虑到公平性提升的幅度,这种trade-off具有重要实践价值。

讨论部分强调,MOSIBIM的创新性体现在三个层面:方法论上首次将优势多目标优化引入后处理偏倚缓解;技术上实现了群智能与收敛-停滞分化的有机结合;应用上验证了在多种偏倚类型(种族、性别、年龄)和场景(医疗、金融、司法)中的普适性。特别值得注意的是,该方法在提升公平性的同时还能改善模型精度,打破了传统方法面临的"零和困境"。

这项发表在《Expert Systems with Applications》的研究为决策软件的公平性优化提供了新范式。其提出的MOSIBIM框架不仅技术指标领先,更具有广泛的应用前景——从确保贷款审批的种族公平,到消除医疗诊断中的性别偏倚,再到构建更公正的司法风险评估系统。随着算法决策在社会各领域的深入渗透,这类保证"技术向善"的研究将变得愈发重要,而MOSIBIM正是这一方向上的重要突破。未来研究可探索将该方法扩展到其他分类模型,或与强化学习等技术结合,进一步拓展算法公平性的技术边界。

相关新闻
生物通微信公众号
微信
新浪微博
  • 急聘职位
  • 高薪职位

知名企业招聘

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号