因果扰动下的公平性测试

《ACM Transactions on Software Engineering and Methodology》：Causally Perturbed Fairness Testing

公平性测试中的因果指导框架研究。本文提出CausalFT框架，通过因果推断提取影响敏感特征的关键非敏感特征，指导数据扰动生成测试样本以发现AI系统的公平性偏见。实验表明其优于现有基于相关性的方法，在93%的测试案例中有效提升公平性检测率，且具有更高的算法效率。

　　

摘要

为减少对敏感特征（如性别、年龄或种族）的不公平和不道德歧视，在利用人工智能模型处理表格数据的工程系统中，公平性测试起着至关重要的作用。其中一个关键挑战是如何在样本量难以处理的情况下，通过扰动有效地揭示公平性漏洞。目前许多研究都集中在设计测试样本生成器上，忽视了关于数据特征的宝贵信息，而这些信息本可以指导扰动的生成，从而限制了其潜力。在本文中，我们提出了一种通用的因果扰动公平性测试框架，称为CausalFT，以填补这一空白。通过因果推断，CausalFT的核心思想是提取与敏感特征最直接且因果相关的非敏感特征，这些特征共同影响标签的预测。然后将这种因果关系无缝地注入扰动中，以指导测试样本生成器的生成。与现有的基于生成器的方法不同，CausalFT是一个更高层次的框架，可以与多种基础生成器配合使用。在$1296$个案例上的广泛实验表明，CausalFT能够在$93$的案例中显著提高任意基础生成器揭示公平性漏洞的能力，同时仅带来可接受的额外运行时间开销。与仅基于相关性对非敏感特征进行排序的现有最先进方法相比，CausalFT在$64$的案例中表现更好，并且效率更高。此外，CausalFT几乎在所有情况下都能更好地提高系统的抗偏见能力。