基于梯度多目标优化的可信人工智能框架研究

《Knowledge-Based Systems》：Optimization-aware trustworthy AI: A gradient-based multi-objective learning framework

　　

优化感知的可信人工智能：一种基于梯度的多目标学习框架 摘要 尽管机器学习取得了显著进展，但人工智能（AI）模型的训练方式与其最终评价方式之间仍存在根本性差异。在训练过程中，监督学习算法通常通过主损失函数优先优化预测性能，有时辅以正则化或辅助目标；而在训练之后，AI系统则需依据更广泛的模型级和系统级标准进行评估，包括公平性、可解释性、透明度、鲁棒性、问责制及人类监督等。训练与评估的分离引出了可信人工智能领域的核心问题之一：这些属性应继续作为外部评价标准，还是应被纳入学习目标本身？ 尽管“先训练后评估”范式在公平感知学习、可解释人工智能及负责任AI治理方面取得了重要进展，但可信AI属性在很大程度上仍独立于优化过程之外。公平性、可解释性、鲁棒性及相关特征通常通过专门的评估指标、事后解释方法或治理框架来衡量，而非直接纳入模型学习。这隐含地假设可信AI属性可以与产生模型的优化过程相互独立地评估。 然而，预测性能、公平性和可解释性并非机器学习模型的独立特征。它们源于同一优化过程，且经常以冲突方式相互作用：提升公平性可能降低预测性能，而增强可解释性往往限制模型复杂度。此外，不同公平性概念在某些条件下可能根本不相容。这些观察表明，可信AI应被表述为一个多目标优化问题，在训练过程中同时优化多个理想属性，而非在训练后独立评估。 尽管已有众多方法将单个可信AI目标纳入模型训练（尤其是公平感知学习），但这些方法通常将预测性能与单一附加目标共同优化，或针对特定可信AI属性设计，未能提供能够将多个可信AI目标整合到统一学习过程中的通用优化框架。研究人员认为，与其追问训练后的模型有多可信，同样重要的问题是：可信AI目标如何成为产生模型的优化目标的一部分？这一视角催生了“优化即设计”（optimization-by-design）范式，将多个可信AI目标直接纳入模型学习。 本文提出一种基于梯度多目标学习（gradient-based multi-objective learning）的优化感知可信AI框架。该框架不将公平性和可解释性视为事后评价标准，而是将预测性能、公平性和可解释性表述为统一梯度学习过程中联合优化的目标，使可信AI属性成为学习目标本身的组成部分，而非外部评价指标。该框架是目标无关（objective-agnostic）的，不依赖于可信AI的特定定义，任何适用于梯度优化的可信AI目标均可纳入其中，而无需修改底层优化程序。为验证框架的通用性，研究人员以二元交叉熵（binary cross-entropy, BCE）作为预测目标，以统计均势差异（statistical parity difference）的梯度兼容替代函数作为公平性目标，以L1正则化作为基于稀疏性的内在模型可解释性代理。 本文主要贡献如下：（1）将可信AI表述为梯度多目标优化问题，在模型训练过程中同时优化多个可信AI目标；（2）提出目标无关的加权标量化（weighted scalarization）框架，可在统一学习过程中容纳适用于梯度优化的不同可信AI目标组合；（3）在覆盖多个应用领域的四个基准数据集上实验验证该框架，以预测性能、公平性和可解释性作为代表性可信AI目标，证明经验非支配解（empirically non-dominated solutions）能够在保持竞争性预测性能的同时捕获不同的优化权衡。 通过将关注点从训练后评估可信AI转向在学习过程中优化可信AI目标，该框架提供了一种通用优化视角，补充了现有的公平感知学习与可解释AI方法。

优化感知的可信人工智能：基于梯度多目标学习框架的论文解读

一、研究背景与问题

近年来，人工智能（artificial intelligence, AI）在医疗、金融、自动驾驶等具有重大社会影响的领域快速普及，使得AI系统的评价标准不再局限于预测性能。现代AI系统被期望同时满足公平性（fairness）、可解释性（explainability）、透明度（transparency）、鲁棒性（robustness）、隐私保护（privacy）、问责制（accountability）及人类监督（human oversight）等多重属性，这些属性共同构成了可信人工智能（trustworthy AI）的核心内涵。欧盟《人工智能法案》（EU AI Act）根据风险等级对AI系统提出法律要求，强调透明度、人类监督、鲁棒性和问责制是可信部署的前提；美国国家标准与技术研究院（NIST）AI风险管理框架则通过有效性与可靠性、安全性、鲁棒性、可解释性、隐私增强、公平性和问责制等多个相互关联的特征来刻画可信AI，并明确指出不同特征之间可能产生权衡。

然而，当前机器学习的主流范式存在一个根本性矛盾：训练阶段通常仅以预测性能作为优化目标，而评价阶段却依据更广泛的可信AI标准进行。公平性、可解释性、鲁棒性等属性大多通过事后评价指标、事后解释方法或治理框架来衡量，而非直接纳入模型学习过程。这种“先训练后评估”的范式隐含假设可信AI属性可以独立于产生模型的优化过程进行评估。但事实上，预测性能、公平性和可解释性并非相互独立的模型特征，它们源于同一优化过程并经常以冲突方式相互作用：提升公平性可能降低预测性能，增强可解释性往往限制模型复杂度，不同公平性概念之间甚至可能根本不相容。因此，可信AI本质上是一个多目标优化问题，需要在训练过程中同时平衡多个理想属性，而非在训练后独立评估。

尽管已有大量研究将单个可信AI目标（尤其是公平性）纳入模型训练，但这些方法通常仅将预测性能与单一附加目标共同优化，或针对特定属性设计，缺乏能够将多个可信AI目标整合到统一学习过程中的通用优化框架。为此，研究人员提出“优化即设计”（optimization-by-design）范式，将多个可信AI目标直接纳入模型学习过程，使可信AI属性成为学习目标本身的组成部分。

二、研究内容与结论

本文提出一种基于梯度多目标学习（gradient-based multi-objective learning）的优化感知可信AI框架。该框架不将公平性和可解释性视为事后评价标准，而是将预测性能、公平性和可解释性表述为统一梯度学习过程中联合优化的目标。框架是目标无关（objective-agnostic）的，任何适用于梯度优化的可信AI目标均可纳入其中，无需修改底层优化程序。为验证框架通用性，研究人员以二元交叉熵（binary cross-entropy, BCE）作为预测目标，以统计均势差异（statistical parity difference）的梯度兼容替代函数作为公平性目标，以L1正则化作为基于稀疏性的内在模型可解释性代理。

该框架的核心贡献在于：（1）将可信AI表述为梯度多目标优化问题，在训练过程中同时优化多个可信AI目标；（2）提出目标无关的加权标量化（weighted scalarization）框架，可在统一学习过程中容纳不同可信AI目标组合；（3）在四个覆盖不同应用领域的基准数据集上实验验证，证明经验非支配解（empirically non-dominated solutions）能够捕获不同优化权衡并保持竞争性预测性能。

三、关键技术方法

本文采用的核心技术方法包括：第一，多目标优化（multi-objective optimization, MOO）框架，将模型训练从单目标经验风险最小化（empirical risk minimization, ERM）扩展为向量值目标函数的联合优化；第二，加权标量化（weighted scalarization）方法，通过权重组合将多个目标转化为单一标量损失进行梯度优化；第三，帕累托最优（Pareto optimality）分析，通过经验非支配解识别不同权衡下的最优模型；第四，统计均势差异的梯度兼容替代函数作为公平性目标；第五，L1正则化作为可解释性代理。实验在四个基准数据集上进行，涵盖不同应用领域。

四、研究结果

3.1 通用多目标学习框架

研究人员将传统单目标优化扩展为包含m个可梯度优化目标的向量值目标函数L(??) = (L?(??), L?(??), …, L?(??)) ∈ ??。与传统经验风险最小化不同，向量值目标函数通常仅对候选模型产生偏序关系，因为改进一个目标可能需要牺牲另一个目标。因此，学习目标转变为识别代表不同目标权衡的帕累托最优解。模型???支配（dominate）模型???当且仅当对所有目标i均有L?(???) ≤ L?(???)且至少一个目标严格不等式成立。帕累托最优解集构成帕累托前沿（Pareto front），其中任何模型都无法在不牺牲至少一个目标的情况下改进另一目标。

3.2 加权标量化框架

为在统一梯度优化过程中处理多个目标，研究人员采用加权标量化方法，将多目标问题转化为带权重的单目标优化问题。通过系统变化权重组合，可以生成不同的帕累托最优解，从而探索目标之间的权衡空间。该框架是目标无关的，任何适用于梯度优化的可信AI目标均可通过调整权重纳入统一学习过程。

3.3 代表性目标实例化

研究人员以二元交叉熵作为预测性能目标，以统计均势差异的梯度兼容替代函数作为公平性目标，以L1正则化作为可解释性代理目标，在四个基准数据集上验证框架有效性。实验结果表明，联合优化能够产生经验非支配解，这些解在不同权重组合下捕获了预测性能、公平性和可解释性之间的不同权衡，同时保持具有竞争力的预测性能。通过优化景观（optimization landscapes）和经验支配分析（empirical dominance analysis），研究人员可视化展示了不同目标之间的权衡关系，证实了多目标联合优化的可行性与有效性。

五、讨论与结论

讨论部分指出，现有研究主要关注预测性能与公平性之间的两两权衡，而可解释性通常通过事后解释技术或内在可解释模型单独处理，较少有工作研究多个可信AI维度在联合优化过程中的相互作用。本文提出的框架弥补了这一空白，通过将预测性能、公平性、可解释性整合到统一的梯度优化框架中，实现了对可信AI多维属性交互的系统探索。

研究结论部分指出，可信AI应被视为多目标优化问题，而非训练后独立评估的外部标准。通过将关注点从评估训练后的可信AI转向在学习过程中优化可信AI目标，该框架提供了一种通用优化视角，补充了现有的公平感知学习与可解释AI方法。该框架可自然扩展到其他适用于梯度优化的可信AI目标，如鲁棒性、隐私保护、校准（calibration）和计算效率等，为可信AI的“优化即设计”范式提供了理论基础和实验验证。