符号分支网络：面向可解释多类分类的树继承神经模型

《Neurocomputing》：Symbolic branch networks: Tree-inherited neural models for interpretable multiclass classification

　　摘要

符号分支网络（SBNs）是一类直接从决策树集成中派生架构的神经模型。每条从根节点到叶节点父节点的决策路径被映射为一个隐藏神经元，而矩阵（特征到分支）和（分支到类别）则编码了由教师集成所诱导的结构关系。这为教师分支与神经组件之间提供了明确的对应关系，在保留基于梯度优化的灵活性的同时，实现了特征级和分支级的可解释性。本文研究的主要配置通过基于梯度的学习来训练教师派生的特征到分支矩阵，同时保持分支到类别矩阵固定；该配置记为SBN。在29个多分类表格数据集上，该配置在29个数据集中有28个优于教师集成，将平均准确率从84.0%提升至87.9%。作为参考，XGBoost和TabPFN在同一批数据集上的平均准确率分别为87.3%和91.3%。对数据集级平均准确率进行的单侧Wilcoxon符号秩检验表明，SBN相较于教师集成具有统计显著的改进（p < 0.001）。除预测性能外，SBN还为解释提供了明确的结构基础。全局特征重要性可以从教师诱导的特征到分支连接中推导得出，而个体预测可以追溯到选定的分支神经元、其相关特征及其类别贡献。对十个独立构建的教师集成进行的分析显示，选定实例的预测结果一致，但其局部特征排序仅具有部分稳定性。我们还评估了最小和最大基准配置下的训练与推理时间，提供了在指定实验条件下的运行时测量结果。总体而言，结果表明树派生结构可以作为神经模型的有效归纳偏置，同时保留教师分支与神经组件之间明确且可追溯的对应关系，从而实现无需依赖事后解释方法的内在可解释性。

引言

长期以来，表格数据的学习一直由基于树的集成方法主导，尤其是梯度提升[1]，其中XGBoost[2]等实现在广泛的表格基准测试中取得了强大而可靠的性能[3]。近年来，专门针对表格数据设计的神经方法进一步推动了预测性能的提升。特别是，TabPFN[4]是一种基于Transformer的表格基础模型，在中小型表格分类问题上取得了极具竞争力的结果，在其评估中优于已有的基于树的基线方法。这些发展表明，表格预测可以通过不同的模型族有效地解决。然而，预测性能本身并不能决定模型的内部推理是否能够以明确、可追溯且人类可理解的形式呈现。

虽然单个决策树是可解释的，但基于树的方法要实现强大的预测性能，通常需要使用由众多树组成的集成模型。在这种情况下，模型行为来源于许多异构组件的聚合，这限制了个体预测能够追溯到单一紧凑结构的程度。神经模型可以提供灵活且高度优化的表示，但其内部组件通常并不明确对应于树基模型的决策结构。因此，在实现高预测准确率与提供模型结构的明确、可追溯表示之间存在区别。

这一区别在模型预测必须接受利益相关者（如领域专家、从业人员或决策者）审查和论证的应用中尤为重要。提高复杂神经模型透明度的常用方法是在训练后应用事后解释方法。尽管这些方法可以为模型行为提供有用的见解并支持用户理解人工智能辅助决策，但其可靠性取决于所应用的方法和情境。特别是，当特征依赖、交互作用或数据和模型的其他相关属性未被充分考虑时，模型无关的解释方法可能产生误导性结论[5]。内在可解释机器学习则力求将可解释性纳入模型设计本身，使其结构和行为无需仅依赖单独的事后解释器即可进行检查[6]。这促使神经架构将有效学习与明确且可检查的内部结构相结合，为透明度提供了互补的途径。

树-神经混合模型为实现这一目标提供了一种方法，将神经优化的预测灵活性与基于树的模型的结构可解释性相结合。这类方法并非仅在准确率上与纯预测模型竞争，而是旨在保留有用的结构信息，同时提供能够在特征、决策结构或模型组件层面进行检查的表示。早期的树-神经混合模型，包括ForestNet系列[7]、[8]，已经证明决策树结构可以转换为具有强可解释性的稀疏神经架构。这些模型已成功应用于多个医学领域，包括中风结局预测[9]、阿尔茨海默病进展[10]、阿尔茨海默病患者的抑郁检测[11]以及乳腺癌超声分析[12]。虽然ForestNet已证明树派生的稀疏性可以提供有意义的结构先验，但其构建和校准与特定数据集和任务密切相关。

在前期工作及早期的树到网络映射[13]、[14]的基础上，本文提出了符号分支网络（SBNs）：一个将树集成转换为神经架构的原则性框架，其隐藏单元对应于教师集成的分支。所得到的连接矩阵编码了由底层树诱导的特征-路径和路径-类别关系。这种构建方式为教师的分支结构与所得到的神经组件之间提供了明确的对应关系，实现了特征级和分支级的可解释性。在主要变体中，教师派生的保持固定，而通过基于梯度的学习进行优化，为适应特征到分支表示提供了受控机制，同时保留了教师派生的分支到类别参数化。

在SBN中，集成的每条分支（从根节点到叶节点父节点的路径）都成为一个隐藏神经元。两个稀疏矩阵编码了从树中提取的结构信息：描述每条分支中出现哪些特征，而描述分支与类别之间的关联。因此，所得到的网络是集成分支结构的直接神经呈现。显式阈值和不等式检验不再保留；相反，特征到分支和分支到类别的关系通过网络中的稀疏模式得以保留。这种构建方式为树分支与神经组件之间提供了明确的对应关系，可以在特征和分支层面进行检查。

在整篇论文中，分别表示和是否可训练，其中。符号汇总于表1。配置，其中训练而保持其教师派生值固定，被用作主要的SBN配置。

在来自OpenML CC-18基准的29个多分类数据集上，在29个数据集中有28个优于教师集成，平均准确率达到87.9%，而教师集成为84.0%。对29个数据集进行的单侧Wilcoxon符号秩检验表明，相较于教师集成具有统计显著的改进（p < 0.001）。XGBoost的平均准确率为87.3%，而TabPFN在同一基准上为91.3%。这些比较为SBN评估提供了预测参考点，而SBN还解决了将基于树的教师结构显式纳入其神经架构的额外目标，提供了树分支与神经组件之间的可追溯对应关系。配置进一步表明，教师派生的结构本身可以提供有用的归纳偏置，在保持和均固定的情况下平均准确率达到86.1%。

本研究的主要贡献如下：

• 我们引入了符号分支网络（SBNs），即从决策树集成的分支结构构建的神经架构，为树分支与神经组件之间提供了明确的对应关系。
• 我们引入作为主要配置，通过基于梯度的学习优化教师派生的特征到分支矩阵，同时保持分支到类别矩阵固定。
• 我们系统地评估了由和的可训练性所定义的四种SBN训练机制，表明在多分类基准上在所考虑的SBN变体中实现了最高的平均准确率。
• 在来自OpenML CC-18基准的29个多分类数据集上，在29个数据集中有28个优于教师集成，平均准确率达到87.9%，而教师集成为84.0%。XGBoost和TabPFN在同一基准上的平均准确率分别为87.3%和91.3%。
• 我们证明所得到的神经表示保留了与教师派生分支结构的明确且可追溯的对应关系，为特征级和分支级解释提供了基础，同时保持了具有竞争力的预测性能。
• 我们评估了在十个独立构建的教师集成上的局部解释稳定性，并刻画了最小和最大评估SBN配置下的训练和推理时间，为解释一致性和在指定实验条件下的实际运行时提供了额外证据。

章节片段

用于表格数据的基于树的方法

基于树的集成方法长期以来一直是表格数据学习的主导方法。特别是，梯度提升决策树在广泛的现实世界基准和应用中持续展现出强大性能[1]、[3]。其有效性使得基于树的集成成为表格学习的重要参考点，特别是因为它们能够对复杂的非线性关系进行建模，同时所需的特征预处理相对有限。

符号分支网络

符号分支网络（SBNs）是从决策树集成派生的神经架构。SBN不学习无约束的潜在表示，而是根据从树中提取的符号结构来固定其隐藏层的结构支持。每条从根节点到叶节点父节点的分支成为一个隐藏神经元，而允许连接的具体数值则根据配置可以是固定的或可调整的。两个权重矩阵和编码了

材料

我们使用来自OpenML-CC18基准套件的多分类任务对提出的方法进行了评估。该选择受到方法预期范围的启发，即表格数据的监督多分类分类。因此，我们考虑了观测值表示为固定长度特征向量且分类可以合理地视为表格学习问题的数据集。OpenML-CC18中的两个数据集CIFAR-10和Fashion-MNIST被排除在主

讨论

结果表明，符号分支网络提供了一种从树集成派生的结构化神经表示，同时在多分类表格数据集上保持了具有竞争力的预测性能。该方法的主要贡献不在于分支到神经元的映射本身（这在先前的树到网络方法中已有探索），而在于通过结构矩阵和、校准参数和，以及四种

结论

本工作提出了符号分支网络（SBNs）框架，其隐藏层结构从决策树集成中派生。每条从根节点到叶节点父节点的分支被映射为一个隐藏神经元，而结构矩阵和编码了从教师集成中提取的特征到分支和分支到类别关系。所得到的架构保留了教师派生分支与神经组件之间的明确结构对应关系，同时

生成式人工智能及人工智能辅助技术在写作过程中的声明

在本文的准备工作期间，作者使用了ChatGPT（OpenAI）来辅助语言润色，并改进手稿的清晰度和组织。作者对建议进行了审查和编辑，并对已发表文章的内容承担全部责任。

利益冲突声明

作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：

Dalia Rodriguez-Salas报告称由独立研究者提供支持。Dalia Rodriguez-Salas与德国弗里德里希-亚历山大-埃尔朗根-纽伦堡大学计算机科学系存在关系，包括受雇和差旅报销。Dalia Rodriguez-Salas与大学医院神经放射科存在关系。

Dalia Rodríguez-Salas于2025年在德国弗里德里希-亚历山大-埃尔朗根-纽伦堡大学获得计算机科学博士学位。她的研究聚焦于可解释机器学习和神经网络架构设计。她研究随机决策树集成如何为构建稀疏神经网络提供结构指导，探索架构结构、可解释性和预测性能之间的关系。她的工作旨在理解如何

Dalia Rodríguez-Salas