神经网络中的单调性约束：综述与未来研究方向

《Neural Networks》：Monotonicity constraints in neural networks: A survey and future directions

　　• 提出了一种神经网络中单调性约束的分类体系。• 系统地研究了不同单调性策略之间的设计权衡。• 一个统一的协议用于评估不同方法的性能和单调性。• 结果确定了具有竞争力的方法、权衡以及实际限制。

引言
在过去的十年中，神经网络的进步极大地改变了人工智能（Abdi, Valentin, Edelman, 1999; Mari, Snidaro, 2026; Tang, Ji, Todo, Shimada, Ding, Hirata, 2024），使得能够开发出强大的预测模型，这些模型支持在包括欺诈检测、网络安全、医疗诊断和金融预测在内的多个领域进行数据驱动的决策（Capstick, Palermo, Cui, Barnaghi, 2025; Chen, Leung, Daouk, 2003; Ding, Ming, Cao, Lin, 2022; Motie, Raahemi, 2024; Pawlicki, Kozik, Chora?, 2022）。随着神经网络越来越多地应用于高影响力和社交敏感的决策场景，关注点已经超出了预测性能本身（Barredo Arrieta, Díaz-Rodríguez, Del Ser, Bennetot, Tabik, Barbado, Garcia, Gil-Lopez, Molina, Benjamins, Chatila, Herrera, 2020; Kasongo, 2023; Kumar Jain, Zhao, Garcia, Neelakandan, 2024; Li, Chen, Wang, García, Camacho, 2026; Li, Sun, Ling, Peng, 2023; Wang, Zhang, An, Ding, 2025a; Zhao, Wang, Zhang, Han, Deveci, Parmar, 2024b）。虽然某些模型非常准确，但它们的行为可能不符合直觉或存在矛盾，这破坏了信任并增加了部署的复杂性。为了解决这些问题，研究人员越来越强调将领域知识和结构约束集成到神经网络模型中（Dash, Chitlangia, Ahuja, Srinivasan, 2022; Goyal, Dumancic, Blockeel, 2024; Roychowdhury, Diligenti, Gori, 2021; Stewart, Ermon, 2017）。在各种结构约束中，单调性尤为重要（Chatterjee, Mukherjee, 2019; González-Almagro, Sánchez-Bermejo, Suarez, Cano, García, 2024; Khalaf, Ishak, García, 2026; Suárez, González-Almagro, García, Herrera, 2024; Wang, Qian, Li, Liang, Ding, 2020）。单调性表达了一个直观的要求：模型的输出应随某些输入特征的一致性变化。例如，较高的收入不应增加估计的信用风险，更严重的临床指标不应降低预测的疾病严重程度，更强的安全信号不应降低系统可靠性评分。即使模型的整体预测性能看起来具有竞争力，违反这些期望也会严重损害信任。因此，单调性成为开发与人类认知一致的可靠机器学习系统的关键因素（Cano, García, 2017; Hurault, Marques-Silva, 2023; Polo-Molina, Alfaya, Portela, 2026a）。

尽管神经网络的单调性至关重要，但确保其保持单调性仍然是一个重大挑战（Jazbec, Allingham, Zhang, Nalisnick, 2023; Yanaka, Mineshima, Bekki, Inui, Sekine, Abzianidze, Bos, 2019; Zhao, Zhang, Wang, Zhai, Yang, 2024a）。当神经网络仅被训练为最小化经验损失时，特别是在数据稀疏、监督噪声较大或外推超出训练分布的情况下，它们可能会学习出高度反直觉的决策函数。在复杂的高维环境中，这些问题更加明显，因为无约束的模型可能会利用与已知单调关系相矛盾的虚假相关性。因此，确保神经网络的单调性需要超出标准训练目标的明确机制。对于神经网络来说，这一挑战尤为突出，因为它们的高度灵活性使它们能够适应复杂模式，但也增加了在无约束条件下学习虚假非单调关系的风险。从学习理论的角度来看，引入单调性约束可以被视为一种原则性的归纳偏见。通过将假设空间限制在满足预定义单调关系的函数上，模型可以实现更好的泛化能力、更强的抗噪声能力和对对抗性扰动的抵抗力。然而，单调性约束不可避免地会降低模型的灵活性；如果设置不当或过于严格，它们可能会限制模型的表达能力并降低其预测性能。理解和管理单调性强制执行与神经网络模型表达能力之间的权衡是我们研究的核心。

已经提出了多种方法来解决神经网络中的单调性问题。这些方法包括通过结构约束（如非负权重或特殊格子构造）来强制执行单调行为（Daniels, Velikova, 2010; Nguyen, Moreno, Le-Bel, Rodríguez Martínez, 2023; Silva, Fernandes, Cardoso, Cardoso, 2018）；在训练期间惩罚违反单调性的行为（Gupta, Shukla, Marla, Kolbeinsson, & Yellepeddi, Liu, Han, Zhang, Liu, 2020; Monteiro, Ahmed, Hajimirsadeghi, Mori, 2021）；以及基于验证的技术，在训练后评估单调行为（Bunel, Turkaslan, Torr, Kohli, Mudigonda, 2018; Liu, Han, Zhang, Liu, 2020; Sivaraman, Farnadi, Millstein, Van den Broeck, 2020）。此外，还有研究探讨了部分单调性，即只约束输入变量的子集，以及单调性与相关属性（如Lipschitz连续性和鲁棒性）之间的联系（Anil, Lucas, Grosse, 2019; Cooper, Nadali, Trivedi, & Velasquez, Nolte, Kitouni, Williams, 2023）。

然而，目前关于神经网络单调性的研究仍然分散。具体来说，现有研究往往侧重于孤立的方法，缺乏跨数据集和架构的系统性分类或实证比较。此外，虽然经常提到预测性能与单调性强制执行之间的权衡，但很少进行严格的比较分析。本文旨在通过提供对神经网络中单调性约束的全面调查、分类和比较分析来解决这些限制。与之前关注特定单调神经网络架构的研究不同，本文采用了以约束为中心的视角。它系统地根据方法在神经网络中实现单调性的方式对现有方法进行分类。基于这一分类，我们使用统一的实验协议进行了广泛的实证评估，以澄清代表性方法在性能和单调性之间的权衡。本文的主要贡献总结如下：
- 我们提出了一个全面的神经网络单调性约束分类体系，按单调性的施加方式组织现有方法，并明确了基于结构、基于训练以及基于验证和认证的单调性机制之间的概念关系。
- 我们从理论和架构的角度系统地分析了单调性强制执行策略，特别强调了它们的单调性保证、表达能力、可扩展性以及对完全或部分单调性设置的适用性，从而明确了不同单调性设计之间的权衡。
- 我们建立了一个统一的评估协议，用于在12个真实世界基准数据集上进行广泛的实证比较，从而能够在预测性能、模型复杂性和性能-单调性权衡方面对代表性方法进行一致评估。
- 我们为不同应用需求选择了神经网络中的单调性约束机制提供了实用指南，并确定了开放性挑战和未来方向，以实现鲁棒、可扩展和应用驱动的单调性设计。

本文旨在通过将分散的研究成果整合到一个连贯的框架中来促进对神经网络单调性约束及其在可靠机器学习中作用的更系统理解。该调查不仅综合了现有方法，还强调了它们的概念基础、实际应用以及在统一评估环境下的实证性能。图1提供了调查结构的概览。本文特别关注神经网络中的单调性约束，强调在神经模型中强制执行、诱导或验证单调性的机制。我们没有旨在全面涵盖序数回归、排名方法或非神经框架中的单调建模，除非它们提供了与神经网络单调性直接相关的概念。

本文的其余部分组织如下：第2节介绍了与神经网络单调性相关的理论背景和基本概念。第3节提出了神经网络方法中单调性约束的全面分类体系，根据单调性的施加方式对现有方法进行分类。第4节进行了广泛的实证评估，比较了代表性的单调建模策略，并分析了预测性能与满足单调性之间的权衡。第5节讨论了将单调性约束纳入神经网络的主要挑战，并概述了几项有前途的未来研究方向。最后，第6节总结了本文。

理论背景和基本概念
本节介绍了神经网络中单调性的基本定义和概念。

分类体系
在传统的机器学习中，已经开发了一系列模型来纳入单调性约束，包括决策树（Khalaf, Garcia, Ben Ishak, 2025; Potharst, Feelders, 2002; Yang, Yan, Qiao, Wang, Qian, 2025）、随机森林（Bartley et al., 2019）、格子模型和查找表（Bakst, Morioka, Louidor, 2021; Fiori, Gong, Lee, 2015; Milani Fard, Canini, Cotter, Pfeifer, Gupta, 2016）、基于提升的方法（Bartley, Liu, Reynolds, 2018; Leitenstorfer, Tutz, 2007）等。

实验比较分析
本节描述了用于实证评估神经网络中应用代表性单调性约束有效性的实验框架。我们详细介绍了实验设置和过程，以确保公平的比较。

挑战和未来方向
尽管最近取得了进展，但在将单调性约束纳入神经网络方面仍存在几个理论和实践挑战。本节总结了主要的开放性挑战，并概述了有前途的未来方向。

结论
本文系统地回顾了神经网络中的单调性约束，并对代表性方法进行了实证评估。我们提出了一个统一的分类体系，将所研究的方法分为基于结构和非结构的单调性方法，并阐明了它们在单调性保证、模型灵活性和优化复杂性之间的设计原则和权衡。基于这一分类体系，我们在12个基准数据集上进行了系统的实证评估。

CRediT作者贡献声明
孙俊鹏：撰写——原始稿件、软件、方法论、数据管理。
胡安·路易斯·苏亚雷斯：撰写——审阅与编辑、可视化、调查、形式分析。
丁维平：撰写——审阅与编辑、验证、监督、资金获取。
萨尔瓦多·加西亚：撰写——审阅与编辑、监督、方法论、资金获取。

利益冲突声明
作者声明他们没有已知的竞争财务利益或个人关系可能影响本文所述的工作。

致谢
本项工作得到了中国国家留学基金委员会（编号202409040011）、国家国家重点研发计划（编号2024YFE0202700）、国家自然科学基金（编号62576178和U2433216）以及西班牙科学技术部（项目PID2023-150070NB-I00）的支持，包括欧洲区域发展基金。

孙俊鹏
胡安·路易斯·苏亚雷斯
丁维平
萨尔瓦多·加西亚