类型化带符号单调对偶科克-斯蒂尔切斯网络用于语义约束分组预测

《Neural Networks》：Typed Signed-Monotone Dual Choquet–Stieltjes Networks for Semantically Constrained Grouped Prediction

　　

摘要

基于语义标记标准的分组预测可能需要带符号的方向约束和非加性交互建模。我们通过在类型化符号单调双重 Choquet–Stieltjes 网络（TSM-DCSNs）中联合研究这些要求，这是一种针对具有不利、有利和中性分数语义的分组输入的受限族。对于固定的类型化分数映射，共享的阈值律驱动触发和否决 Choquet–Stieltjes 分支。锚定可加性刻画了强制仿射坍缩的条件。固定节点网格上的每个归一化分段线性阈值律（包括仿射律）在非退化准则射线上是有限可识别的。指定探针允许精确局部恢复分支权重和支持的对偶容量值，并在有界扰动下保持稳定恢复。对于固定的 k，块 k-可加实例允许多项式时间前向评估和从多项式数量的指定探针中进行支持 M?bius 反演。合成探针实验证实了在匹配的无噪声环境下机器精度的恢复，以及在有界噪声下的单调误差增长。在五个分组表格基准上，所有结构化配置均实现零符号方向违规；基于验证的排名在某些任务上偏好完整成员，在其他任务上偏好缩减成员。由于组内分数构建不同，这些比较并非单组件消融实验。一个外层测试隔离的嵌套试点门仅在五个数据集中的两个上匹配描述性完整对可加决策，并相对于所述描述性参考做出三次虚假跳过，因此未经验证用于全模型前的筛选。本文的贡献是一个可验证选择的结构化族，用于语义指定的分组预测，具有可分析的阈值几何和基于探针的交互结构恢复，而非声称统一的预测优越性。

引言

许多预测问题使用语义标记的分组输入，其组携带方向性角色。在信贷评估中，增加不利指标不应降低预测风险。在临床评分中，增加保护因子不应提高预测严重程度。模型必须聚合标记标准并强制带符号的方向约束。该设置不同于可交换集预测：任意 Choquet 容量区分标准身份，因此不是仅对分数值进行置换不变的。

当输入元素可交换时，置换不变集学习提供了标准的聚合框架。Zaheer 等人给出了置换不变预测的分解定理（Zaheer et al., 2017）。PointNet 使用对称池化来处理无序点集（Qi et al., 2017）。Janossy 池化通过平均置换敏感表示来恢复不变性（Murphy et al., 2019），而 Vinyals 等人表明输入顺序会影响序列到集的性能（Vinyals et al., 2016）。Set Transformer 通过注意力机制扩展了不变建模（Lee et al., 2019），而 Wagstaff 等人研究了可加分解架构的表达力限制（Wagstaff et al., 2019）。这些架构提供了相关的灵活基线，但多重集不变性既不施加带符号的方向约束，也不适用于标记准则上的任意容量。

单调预测在不同的设置中处理方向控制（Cano et al., 2019）。Sill 引入了精确单调网络（Sill, 1998）。Daniels 和 Velikova 研究了部分单调性（Daniels and Velikova, 2010）。深度格网络通过校准的格层施加单调性（You et al., 2017），而受约束单调网络在精确单调性约束下保留通用近似能力（Runje and Shankaranarayana, 2023）。后来的最小 - 最大变体改进了可扩展性和平滑性（Igel, 2024, Kim, Lee, 2024）。这些方法在固定向量输入空间上强制逐坐标同调性；它们不提供本文研究的双重标记容量交互和局部逆结构。

非加性聚合提供了交互组件。Choquet 积分在保持单调性的同时建模交互（Choquet, 1954, Murofushi, Sugeno, 1989），这属于起源于 Sugeno 博士论文（Sugeno, 1974）的更广泛的模糊测度和模糊积分谱系，并已被用于单调非线性预测和 Choquet 回归（Tehrani, Cheng, Dembczyński, Hüllermeier, 2012, Tehrani, Cheng, Hüllermeier, 2011）。容量参数允许沙普利值和交互指数分解（Grabisch, 2016, Grabisch, Labreuche, 2010, Shapley, 1953），并且 k-可加限制产生了可处理的参数族（Grabisch, 1997）。最近的工作研究了模糊测度的学习和表示（Beliakov et al., 2024），与 SHAP 式解释的联系（Lundberg, Lee, 2017, Pelegrina, Duarte, Grabisch, 2023），基于 Choquet 型聚合的神经架构（Bresson, Cohen, Hüllermeier, Labreuche, Sebag, 2020, Huang, 2025, Islam, Anderson, Pinar, Havens, Scott, Keller, 2020），以及测度论层次化 Choquet–Stieltjes 聚合（Huang and Chen, 2026）。层次化 Choquet 模型的可识别性也得到了研究（Bresson et al., 2021）。Choquet–Stieltjes 积分将此框架扩展到不确定性下的决策建模（Grabisch, Labreuche, 2005, Grabisch, Labreuche, 2010, Narukawa, Murofushi, 2008），而对偶集函数公式进一步扩大了该理论空间（Huang and Chen, 2025）。下面开发的模型结合了该双重骨架与类型化符号语义、阈值律分析和局部逆恢复。

信念函数聚合已被用于聚类（Zhang et al., 2023），而基于 Choquet 的决策模型已被开发用于 q-阶正交对犹豫评估（Qin et al., 2024）。这些设置不施加带符号的分组分数顺序，也不研究双重触发 - 否决预测器的基于探针的恢复。

我们提出类型化符号单调双重 Choquet–Stieltjes 网络（TSM-DCSNs），这是一种针对语义标记分组准则的受限预测器族，它结合了不利和有利通道上的类型化符号单调性，中性通道不受约束，以及具有可分析内部结构的双重非加性聚合。在正式探针理论之前，第 2.1 节规定了架构和符号。

原始分组输入被映射到不利、有利和可选的中性分数。所有正式带符号分支结果都针对在评估期间固定的分数映射条件下的不利 - 有利预测器；该映射可能在训练数据上拟合后被冻结。在整个文中，“可识别性”意味着在固定分数映射条件下通过基于探针的方法恢复阈值和容量参数；它不包括预处理或分数构建参数的识别。

仿射坍缩结果对阈值律在探针恒等式下的代数退化进行了分类。它们不是关于训练动态的陈述。在实证部分，仿射变体作为阈值敏感性的结构诊断。一种实用的抗坍缩诊断是节点律的总平方相邻斜率对比，????=∑?=2??(????????1)2，其中 ???=(???(???)????(????1))/(????????1)。一个可选的启发式惩罚 ???max?{0,???????} 可以阻止训练进入仿射区域，但不声称优化动态定理，且报告的实验仅将此量作为诊断使用。

贡献不仅在于使用 Choquet 积分，也不仅在于使用单调神经网络。本文规定了分组分数空间上的带符号语义顺序，以及一个尊重该顺序的双重触发 - 否决 Choquet–Stieltjes 预测器。在指定探针族上的精确约化导致仿射坍缩与真正非仿射阈值行为之间的代数分离，在非退化准则射线上的归一化阈值律的有限识别，分支权重和块支持容量值的闭合形式恢复，以及具有显式条件常数的确定性稳定性界。对于固定的 k，块 k-可加子类提供了多项式时间的精确评估。这些结果共同连接了标记分组预测、类型化单调性、非加性交互建模和局部逆恢复。实证声明更为狭窄：验证在选择已实现的完整和缩减配置中起作用，而拟合的曲率和交互量保持描述性；配置层面的性能差距并未识别单个架构组件的效果。

本文其余部分组织如下。第 2 节介绍了触发 - 否决探针族并证明了约化公式。第 3 节研究阈值律的刚性和非退化准则射线上的有限可识别性。第 4 节建立了分支权重、对偶容量值和支持 M?bius 系数的局部逆恢复，以及相应的稳定性理论。第 5 节量化了块 k-可加子类的参数计数和精确评估复杂度。第 6 节报告了实证结果，第 7 节和第 8 节讨论了模型族的范围并总结了结论。

章节片段

架构与集中符号
本小节在正式探针理论之前收集了架构描述和符号。在整个论文中，[N] 上的容量意味着满足 ???(?)=0 和 ???([??])=1 的归一化单调集函数 μ: 2[N]?→?[0, 1]。原始分组特征首先使用训练集统计量进行截断和归一化，然后映射到类型化分数。不利分数进入一个触发分支，其中较大的分数只能增加预测；有利分数进入一个否决分支，其中较大的分数

阈值律的刚性与可识别性
第 2 节的精确约化使得外部阈值律 g 在指定探针族上在解析上可见。本节回答两个不同的问题。首先，它表明沿触发或否决坐标的锚定可加性强制阈值律进入仿射区域。其次，它表明固定节点网格上的每个归一化分段线性阈值律在非退化准则射线上都是有限可识别的。识别结果包括归一化的仿射

对偶容量的局部逆理论
在阈值律被分离为仿射和非仿射区域后，下一步是询问关于内部交互结构还有什么可恢复的。本节建立了指定探针族上分支权重和对偶容量的局部逆理论。重点是局部的：结果涉及从结构化探针响应进行有限恢复，而不是从任意观测数据进行不受限制的可识别性。然而，在该局部区域内，理论是

参数计数与精确评估复杂度
前面的章节建立了定义 4.2 中定义的块 k-可加子类内指定探针上的分析透明性和局部可恢复性。实际部署还要求同一子类允许受控制的精确评估。对于固定的 k，块 k-可加性将支持的 M?bius 系数限制在多项式计数，并产生多项式时间的阈值扫描评估。本节量化了该表达力 - 可处理性权衡。

定理 5.1 参数计数与评估成本
固定一个划分 ?={??1,?,????}

实证评估
实证研究旨在匹配理论的范围。第一部分评估了推导精确和稳定恢复的探针区域。第二部分研究具有类型化不利、有利和中性通道的分组表格任务上的语义约束预测。与其寻求广泛的基准统治地位，不如评估带符号的方向保真度以及在已实现的完整和缩减结构化配置之间进行基于验证的选择。因为

讨论
TSM-DCSNs 旨在用于具有领域指定的不利、有利和中性语义的分组输入，其中方向保真度是模型规范的一部分。对于该设置，本文开发了一个统一的理论 - 模型 - 评估框架。触发 - 否决探针通过精确约化暴露阈值律和选定的容量值。锚定可加性隔离了仿射区域。独立地，固定节点网格上的每个归一化分段线性阈值律都是有限

结论
结论将已建立的结果与条件实证范围分开。在匹配的无噪声探针上，约化和局部逆恢复以机器精度恢复阈值律、分支权重、容量值和支持 M?bius 系数。在有界探针噪声下，误差单调增长，且分母坍缩仅因为探针网格满足所述条件余量而被避免。在真实数据上，所有结构化配置保持零符号方向

CRediT 作者贡献声明
Jih-Jeng Huang: 撰写 – 原稿，方法论。Chin-Yi Chen: 撰写 – 原稿。

利益冲突声明
作者声明他们没有已知的竞争性经济利益或个人关系，这些利益或关系可能被认为影响本报告中报道的工作。

Jih-Jeng Huang|Chin-Yi Chen