通过神经替代器对不可微分类器进行凸松弛反事实优化

《Neural Networks》：Convex-Relaxed Counterfactual Optimization for Non-differentiable Classifiers via Neural Surrogates

　　•ECOer 通过神经代理针对不可微分类器进行优化。•线性重建正则化控制潜在输入度量失真。•在每个固定的决策区域内，放宽后的目标函数是凸的。•岭重建在保持线性的同时提高了数值稳定性。•边界感知采样被用作一种经验性的代理拟合策略。

引言
人工智能（AI）的发展极大地推动了工业创新和社会进步（Nandhakumar和Aggarwal，1985；Xu等人，2021）。历史上，AI系统从早期的高度可解释的符号推理框架（这些框架受到人类编码逻辑的根本限制，Bengio等人，2013）过渡到了复杂的大规模机器学习模型。然而，这种向高度非线性和复杂架构的转变加剧了“黑箱”问题，引发了关于责任性的关键讨论，并迫切需要开发可解释的AI（XAI）（Doshi-Velez和Kim，2017）。在各种事后可解释性技术中，反事实解释（Counterfactual Explanations，CE）作为一种数学上原理性的方法脱颖而出（Miller，2019）。从根本上说，生成反事实被构建为一个受限优化问题：确定将输入实例推向模型决策边界所需的最小扰动。通过提供这种局部化的、对比性的探针，CE不仅阐明了模型的局部拓扑结构，而且还为从信用风险评估到医疗诊断等关键决策领域提供了可行的解决方案（Del Ser等人，2024；Dhar，1998）。尽管反事实优化在概念上非常优雅，但其精确解决仍然非常具有挑战性。对于具有显式功能形式的参数模型，基于梯度的方法可以直接利用内部模型结构来找到最优扰动（Verma等人，2024）。相反，许多实际重要的分类器具有不可微或非平滑的决策边界，即使模型准确，也使得基于梯度的CE生成变得困难。kNN和随机森林等非参数分类器就是典型的例子，但本文中讨论的优化难题主要来源于非平滑性，而不是非参数性本身。传统的模型无关方法往往无法利用有用的局部结构，导致搜索效果不佳或计算效率低下。一个理论上合理的替代方法是构建一个可微的代理来近似不可微的黑盒。然而，传统的基于代理的生成方法引入了一个关键的理论瓶颈：度量失真。由于将反事实搜索投影到代理网络的潜在特征空间中，高度非线性的映射会从根本上扭曲距离度量。因此，在潜在空间中发现的拓扑最优解通常会映射回原始输入空间中的无效或不可信实例。明确建模和缓解这种度量失真仍然是一个重大挑战。为了解决这一理论困境，我们提出了具有度量保持重建正则化的有效反事实优化（ECOer）框架，这是一种专门为不可微和非平滑分类器设计的系统方法。为了忠实地捕捉复杂的决策流形，我们采用了ReLU-ReLU单隐藏层神经网络（R2SNN）作为代理架构。我们的公式得到了关于近似误差界限的严格理论保证，并利用黎曼哈密顿蒙特卡洛（HMC）（Watanabe，2018）作为一种经验性的边界感知采样策略来提高有限样本代理的真实性。基于分析上可行的R2SNN，我们从数学上重新构造了反事实搜索，以明确绕过度量失真。基于极端学习机（ELM）理论，我们构建了一种新的度量保持重建正则化目标，将优化严格限制在有效的输入流形上。为了进一步提高在线可处理性，我们引入了先进的凸松弛技术，将本质上是非凸的反事实搜索转化为区域性的凸优化问题。ECOer的整体拓扑映射和优化流程如图1所示。

总结
我们的工作做出了以下关键贡献：
•一个具有误差界限的可证明的R2SNN代理框架：我们建立了一个严格的神经近似框架，以明确捕捉不可微分类器的隐式决策边界。该R2SNN架构在近似速率上受到严格的理论界限支持，并通过边界感知采样进行训练，为对比推理提供了高度真实的、数学上合理的基础。
•通过ELM为基础的重建正则化来缓解度量失真：我们正式识别了潜在空间反事实搜索中普遍存在的度量失真问题。为了解决这个问题，我们基于ELM理论推导出了一种新的度量保持重建正则化项，有效地作为拓扑约束，以保持度量真实性并确保生成合理的实例。

相关工作
本节回顾了两个关键领域的先前的工作：XAI的反事实生成算法和ReLU神经网络的函数逼近。

反事实生成算法
反事实解释是XAI的核心支柱，旨在识别能够改变模型预测的最小但可行的输入变化（Wachter等人，2018）。现有方法大致可以分为模型无关方法和模型特定方法。模型无关方法构建反事实（Counterfactual Explanation）
本研究关注二分类问题。设??表示实例空间，??={??0,??1}表示输出空间，其中y0和y1分别对应类别标签0和1。给定一个实例??in∈??，根据Wachter等人（2018）的说法，反事实解释的目标是找到一个实例x，使得以下目标函数最小化：
??(??,??in|??,??)=?????????????(??,??in|??)+??·?????????????(??,??in|??),
其中β?>?0是一个正的超参数，d(?·?, ?·?)是定义在??上的度量，而??:

概述
本节系统地阐述了我们提出的反事实生成框架。在第4.2节中，我们提出了使用R2SNN作为不可微分类器代理模型的动机和理论基础，证明了其能够在保持分类等价性的同时以可控的误差近似任何可测量的分类器。第4.3节介绍了用于训练代理模型的优化方案，之后我们转向...

实验
我们在三个应用领域中的六个基准数据集上对ECOer进行了全面评估，涵盖三种不可微或非平滑分类器和六个竞争性基线。所有实验都在NVIDIA RTX 3090 GPU（24 GB）和Intel Core i9-12900K CPU上进行。重现我们结果的源代码可在https://github.com/Ao-Xu/ECOer公开获取。

结论
本研究提出了ECOer，一个用于生成不可微和非平滑分类器（包括常见的非参数模型，如kNN、随机森林和核SVMs）的高质量反事实解释的框架。通过结合R2SNN代理、度量保持正则化和凸松弛，ECOer在代理真实性、合理性和计算可行性之间实现了原则性的平衡。在真实世界数据集上的广泛实验证明了...

未引用的引用
缺失的引用：算法1，图8CRedi
作者贡献声明
Ao Xu：撰写——原始草稿、方法论、概念化。
Zihao Li：方法论。
Tieru Wu：撰写——审阅与编辑。

利益冲突声明
作者声明没有已知的财务利益或个人关系可能会影响本文报道的工作。