《Neurocomputing》：Parametric learning of sparse piecewise linear threshold lists for interpretable regression
编辑推荐：
摘要可解释回归需要可检查的路由机制和局部预测，然而简短的规则结构可能掩盖大量的参数复杂度，贪心搜索加上依赖性交叉验证可能会夸大经验结论。我们研究了分段线性阈值列表（PL-TL），它将每个观测值通过有序的阈值列表路由到一个局部岭回归预测器，按拟合的区域目标函数对候选项进行评分，
摘要
可解释回归需要可检查的路由机制和局部预测，然而简短的规则结构可能掩盖大量的参数复杂度，贪心搜索加上依赖性交叉验证可能会夸大经验结论。我们研究了分段线性阈值列表（PL-TL），它将每个观测值通过有序的阈值列表路由到一个局部岭回归预测器，按拟合的区域目标函数对候选项进行评分，并将列表长度与系数负担分开报告。在八个基准测试中，PL-TL 使用 1.08–6.44 个区域；经过校正的重复交叉验证测试显示，在七个数据集上其相对于浅层 CART 的优势得以保留，但在仅八个独立数据集上，经过 Holm 校正后无方法层面的比较具有显著性。在两个小数据诊断中，束搜索将贪心训练目标差距从 0.61%–3.52% 降低至 0.11%–0.79%，搜索时间约为原来的三倍；而穷举的深度二搜索比贪心搜索慢约 8.5 倍，却未能一致地降低测试 RMSE；扩展后的 EBM 和 Cubist 网格在 3.32–5.92 倍的调优时间内改进了 16 个数据集-模型组合中的 15 个，这表明 PL-TL 是一种紧凑的短路由替代方案，而非一种在预测精度或参数稀疏性上普遍更优的模型。
引言
机器学习模型越来越多地部署在关键应用中，在这些应用中可解释性与预测准确性同等重要 [1]、[2]。在回归任务中——例如预测房价或患者风险评分等连续型结果——标准选择往往迫使我们做出妥协。例如在医疗领域，临床医生可能需要一条 2–3 条规则的解释（例如，如果年龄 且肌酐 ，则 ），而非一个黑箱评分。线性回归提供了透明度，但缺乏对复杂非线性关系的表达能力。相反，深度神经网络和梯度提升集成模型虽然提供了高精度，却如同不透明的"黑箱" [3]、[4]。
符号模型，如决策树（DT）和决策列表（DL），提供了一种折中方案。然而，学习这些模型的标准算法，如 CART [5]，依赖于贪心启发式方法，往往导致庞大、不稳定且冗余的结构 [6]。此外，标准回归树通常将函数近似为分段常数，因此需要深层树（从而降低可解释性）来建模平滑变化。
Ordyniak 等人 [7] 的近期工作为分类场景下寻找"最小可解释模型"建立了理论框架。这与文献中向最优的紧凑符号模型和优化驱动的可解释性发展的更广泛趋势相一致 [8]、[9]、[10]。然而，这种严格的极小性框架尚未被完全适应到回归场景，在回归中输出空间是连续的，"正确分类"的概念被误差最小化所取代。在大规模设置中，全局最优方法可能变得计算上不可行，而超参数调优或穷举搜索的开销可能超过可解释性带来的收益。这产生了一种实际需求：模型需要保留简短、可审计的规则列表，同时在可预测的运行时预算内扩展至数十万样本。
在本文中，我们研究了一种刻意受限的回归列表方法：稀疏分段线性阈值列表的参数化学习。我们将决策列表的概念扩展到回归，允许每条规则输出一个线性函数而非常数。我们将学习问题建模为列表级结构稀疏性（列表长度）与参数拟合（线性误差）的联合优化。
我们特别主张在回归任务中使用阈值列表结构（有序规则）而非决策集（无序规则）。在分类中，集合中重叠的规则可以通过多数投票解决。然而在回归中，解决来自多个重叠规则冲突的线性预测是非平凡的，并且往往会降低可解释性。列表的有序性质允许我们依次划分数据空间的不同区域，确保每条后续规则在剩余的（残差）数据分布上操作并降低剩余误差，这在概念上类似于逐阶段学习（例如提升法），但以一种简洁的符号列表格式呈现。
具体而言，一个无序集合可能包含两条重叠的规则，例如"如果收入 则 "和"如果年龄 则 "。对于一个同时满足两者的样本，模型必须指定额外的聚合机制（例如，平均、加权或优先级）。阈值列表则通过首次匹配语义解决重叠，为每个预测产生一个确定性的路由解释。这种结构解释本身并不能使高维局部线性预测器在认知上变得简单，因此我们将其系数分开报告。
贡献。本工作做出了以下贡献：
- •
我们定义了 PL-TL 作为一种具有有序阈值路由、区域线性预测器和确定性首次匹配解释的短路径回归模型。
- •
我们引入了一种目标一致的单步贪心学习器：每个候选分裂的两侧以及停止基线都使用相同的岭回归目标函数。充分统计量实现可以在数值容差范围内精确复现直接候选评估。
- •
我们通过贪心、束搜索和穷举深度二搜索将有限网格的单步保证与全局最优性区分开来，报告了训练目标差距、留出 RMSE、结构紧凑度和搜索时间。
- •
我们将预测精度、结构和系数级复杂度、稳定性、鲁棒性和运行时间与线性、树、可加、规则集成、EBM 和 Cubist 基线进行了对比评估。扩展网格诊断量化了更强基线调优的效果，而经过校正的重复交叉验证和跨数据集测试则考虑了依赖性折估计。
特别是，本工作的贡献是一种具有目标一致贪心评分的可审计精度-结构权衡，而非广泛预测优势或全局列表最优性的声称。
本文其余部分组织如下。第 2 节回顾相关工作，第 3 节介绍 PL-TL 的公式和学习算法，第 4 节报告实验结果和消融实验，第 5 节总结局限性和未来方向。
章节摘要
基于树和列表的回归
最普遍的可解释非线性回归方法是分类与回归树（CART）[5]。回归树递归地将特征空间划分为超矩形，并在每个叶节点中拟合一个常数值（均值）。虽然易于解释，但在建模平滑或线性现象时会出现"阶梯效应"，需要深层且难以解释的树来实现低误差。模型树，如 M5 和 M5' [11]，通过在
问题建模
设 为数据集，其中 表示特征向量， 为连续型目标变量。我们的目标是学习一个回归函数 ，在保持结构紧凑的有序列表形式的同时最小化预测误差。
分段线性阈值列表（PL-TL）
我们将分段线性阈值列表定义为一个有序的规则序列 。每条规则 作为特征空间中由一个分裂所定义的特定区域的局部线性估计器。形式上，第 条规则是一个元组 ，其中 是特征索引， 是分裂
实验
我们在合成数据和真实世界回归基准上评估 PL-TL。我们将我们的方法与代表精度与可解释性之间不同权衡的基线进行比较：
- 1.
线性回归（LR）：最简单的可解释基线。
- 2.
GAM（样条）：一种实现为样条基展开与岭回归结合的广义可加模型 [23]。
- 3.
CART（DecisionTreeRegressor）：标准的可解释非线性基线。我们同时测试了浅层（）和深层（）树。
- 4.
模型树（线性
结论
我们提出了 PL-TL，一种具有局部线性预测器的有序回归列表模型，并在有界阈值网格上使用目标一致的单步贪心启发式对其进行优化。评分器使用相同的岭回归目标函数评估当前、已覆盖和剩余区域；在 40 个小型实例中，充分统计量评分与直接岭回归评估选择了相同的候选项。束搜索和穷举深度二实验刻画了剩余搜索差距：束搜索大幅
CRediT 作者贡献声明
黄智高（Zhigao Huang）：撰写——初稿、可视化、验证、项目管理、方法论、调查研究、形式化分析、数据整理、概念构思。陈木盛（Musheng Chen）：撰写——审阅与编辑、验证、项目管理、资金获取。
利益冲突声明
作者声明不存在任何已知的竞争性经济利益或个人关系，这些关系可能会影响本文所报告的工作。
黄智高（Zhigao Huang） 获得中国燕山大学通信工程硕士学位。目前担任中国泉州师范学院物理与信息工程系讲师。其研究方向包括人工智能与机器学习、用于计算机视觉和自然语言处理的深度学习、强化学习与智能系统、可解释人工智能与模型可解释性、社交媒体数据分析以及网络
黄智高|陈木盛
