树状成对交互网络：一种用于表格数据可解释建模的新型神经网络架构

《Annals of Actuarial Science》：Tree-like pairwise interaction networks

　　

表格数据中的特征交互建模仍是预测建模中的一个关键挑战，例如在保险定价中的应用。本文提出树状成对交互网络（tree-like pairwise interaction network, PIN），一种新型神经网络架构，通过一个模拟决策树结构的共享前馈神经网络架构显式捕获成对特征交互。PIN通过设计实现内在可解释性，允许直接检视交互效应。此外，由于仅涉及成对交互，该架构允许高效的SHapley加性解释（SHapley's Additive exPlanation, SHAP）计算。研究结果强调了PIN与既有模型（如GA²Ms、梯度提升机和图神经网络）之间的联系。在流行的法国汽车保险数据集上的实证结果表明，PIN在预测准确性上优于传统和现代神经网络基准模型，同时还能提供关于特征之间如何相互作用以及它们如何对预测做出贡献的深刻见解。

**论文解读：树状成对交互网络——面向表格数据可解释预测建模的新架构**

**1. 研究背景与问题**

在表格数据的预测建模中，特征交互建模是一个核心挑战。特征交互指多个变量共同对目标结果产生影响，这种影响超越了各变量单独效应的简单叠加。在保险定价等实际场景中，预测变量与响应变量之间的关系往往并非简单的加性关系，而是涉及复杂的相互依赖。例如，驾驶员年龄、居住位置和驾驶行为等因素可能以非显而易见的方式相互作用，共同影响风险评估与保费计算。忽视或错误设定此类交互可能导致模型次优，进而引发价格扭曲和潜在的有偏解释。

传统上，保险行业依赖广义线性模型（GLM），因其可解释性强、统计基础坚实且计算高效。然而，GLM对交互的建模能力有限，每个交互项均需人工构造，严重制约了模型复杂度与精度。广义加性模型（GAM）作为GLM的扩展，允许每个预测变量具有非线性效应，但同样需要人工指定交互项。带成对交互的广义加性模型（GA²M）进一步引入选定的成对交互，但仍依赖领域知识进行人工特征工程，易引入主观性和偏差。深度神经网络（DNN）虽能通过表示学习自动构造高阶交互特征，但其黑箱特性使得识别、量化和解释特征交互极为困难。

因此，如何在神经网络中有效建模并解释特征交互，是现代机器学习文献面临的重要课题。现有方法如自注意力机制、图神经网络（GNN）等虽能捕获交互，但普遍缺乏内在可解释性或计算效率。针对上述问题，本文提出树状成对交互网络（PIN），一种专门设计用于显式捕获表格数据中成对特征交互的神经网络架构，兼具预测性能与可解释性。

**2. 研究内容与主要发现**

研究人员引入树状PIN架构。该架构首先将每个输入特征嵌入到潜在空间，然后通过一个共享的前馈神经网络（FNN）对所有权成对交互进行显式建模。共享FNN保证了参数效率，而为每对交互配备的可学习交互令牌（interaction token）则保留了建模不同交互结构的灵活性。交互输出通过居中的硬Sigmoid激活函数，以连续可微的方式模拟决策树的离散划分行为，从而形成树状结构。该设计允许直接检视交互项，实现内在可解释性。研究还揭示了PIN与GA²M、梯度提升机（GBM）和图神经网络在结构上的密切联系。

在两个真实世界数据集——法国汽车第三者责任险（MTPL）索赔频率数据集和比利时MTPL数据集上，研究人员评估了树状PIN的性能。实验表明，在泊松偏差（Poisson deviance）损失下，PIN的预测准确性显著优于传统基准模型（如GLM、GAM）以及现代神经网络架构（如深度FNN、CAFFT和可信度Transformer）。例如，在法国数据集上，集成树状PIN的样本外泊松损失为23.667×10^-2，优于集成可信度Transformer的23.711×10^-2，且参数数量仅为4,147，远低于CAFFT的27,133。此外，PIN仅涉及成对交互，使得SHAP值的计算可通过配对排列SHAP采样方法高效完成，计算复杂度从阶乘级降至线性级。

**3. 关键技术方法**

研究人员主要采用了以下关键技术方法：（1）**特征嵌入**：对类别特征使用实体嵌入，对连续特征使用FNN嵌入，将输入转换为张量表示；（2）**共享交互网络**：定义一个由三层FNN组成的共享网络，并引入可学习的交互令牌以区分不同特征对的交互结构；（3）**配对排列SHAP**：利用PIN仅含二阶交互的特性，通过配对排列SHAP公式精确高效地计算Shapley值。训练使用Adam优化器、批大小为128、初始学习率0.001，采用学习率衰减和基于10%验证集的早停策略。法国数据集样本量为610,206条训练数据，测试集67,801条；比利时数据集共163,212条保单，采用90%-10%划分。

**4. 主要研究结果**

**4.1 法国MTPL索赔频率示例**

研究人员在法国数据集上分步验证PIN的性能。首先仅用两个连续特征（驾驶员年龄DrivAge和对数密度log-Density）构建线性PIN，发现其学习到对角线划分模式，类似于决策树沿对角线分割特征空间。随后引入非线性树状PIN，通过与GLM热力图对比，发现PIN能自动揭示驾驶员年龄在40-50岁区间索赔频率升高的数据驱动模式，而无需人工指定。在包含所有特征的全模型实验中，树状PIN的样本外损失为23.740×10^-2，集成后降至23.667×10^-2，优于所有基准模型。

**4.2 PIN交互重要性**

为评估各成对交互的贡献，研究人员提出一种基于多输出PIN的前向选择方法：保持GAM主效应项固定，单独训练每个交互项并计算其导致的样本外损失下降。结果显示，最大的损失下降来自BonusMalus:VehBrand交互，其次是BonusMalus:Region。这一结果与Friedman-Popescu的H²统计量排序略有不同，PIN方法更接近前向选择视角，且基于经验数据分布评估，避免了偏依赖图在特征高度相关时的外推问题。第二轮前向选择进一步确定DrivAge:BonusMalus为第二个重要交互。

**4.3 SHAP解释**

基于配对排列SHAP方法，研究人员对单个实例的预测进行分解，发现bonus-malus水平和密度特征对低预测值贡献最大，而车辆燃气特征贡献正向增量。全局SHAP重要性分析显示，bonus-malus水平是最重要的变量，其次为驾驶员年龄和密度，而地区编码重要性最低。通过分析驾驶员年龄变量的SHAP值及其与bonus-malus水平的交互，研究发现年轻驾驶员（<40岁）通常具有较低SHAP值（负向贡献），而40-60岁驾驶员具有正向贡献，且这一效应与bonus-malus水平密切相关，符合保险定价的实际逻辑。

**4.4 比利时MTPL数据验证**

在比利时数据集上，树状PIN同样取得最优样本外预测性能，集成版本进一步提升准确性。SHAP变量重要性表明bonus-malus变量（bm）主导预测，其次为投保人年龄（ageph）和燃料类型（fuel）。交互重要性分析显示，第一轮最显著的交互为地理坐标（经度long与纬度lat）的交互，揭示了空间模式的重要性；第二轮中，在固定空间交互后，最显著的交互为bonus-malus水平与车辆年龄的交互，这一结果与法国数据集中的发现一致。

**5. 讨论与结论**

讨论部分指出，PIN的交互重要性度量方法类似于GLM中的前向选择过程，且不受特征相关性导致的偏依赖图外推问题影响。SHAP计算的效率优势源于架构仅含二阶交互，这为用户提供了快速且精确的可解释性分析工具。

研究结论总结如下：本文提出的树状PIN是一种新颖的神经网络架构，旨在显式捕获表格数据中的成对协变量交互。该架构将每个输入协变量嵌入潜在空间，并通过带居中硬Sigmoid激活的共享FNN建模成对交互，从而模拟决策树的划分行为。共享网络确保了参数效率，而交互特定的可学习参数保留了对不同交互模式的建模灵活性。数值分析基于两个常用的真实保险数据集，结果表明树状PIN consistently优于传统基准和包括可信度Transformer在内的新近神经网络架构。此外，树状PIN通过支持成对交互分析增强了模型可解释性，并因仅含二阶交互而能够通过配对采样排列SHAP方法高效计算SHAP值。未来研究方向包括引入稀疏化正则化以实现自动交互选择、利用正则化处理受保护属性以促进公平性，以及将架构扩展至时间序列数据以联合建模时间依赖与特征交互。