节点重要性驱动的输入域划分方法在神经网络误差分析中的应用研究

《Array》：Research on the application of node importance-driven input domain partitioning methods in neural network error analysis

　　

符号传播结合线性松弛（Linear Relaxation, LR）提供了可扩展性，但引入了保守误差。这些误差在传播过程中被放大。研究人员提出了一种节点重要性驱动的分裂方法（Node Importance-Driven Splitting method, NIDS）。该方法评估不稳定神经元（unstable neurons）的位置权重（Positional Weight）和传播影响（Propagation Influence）。该方法优先分裂高重要性的节点，以减少早期松弛误差的累积。实验结果表明，与传统方法相比，该方法紧缩了输出边界并提高了验证成功率（verification success rate）。在适度分裂下，它保持了效率和可扩展性。该方法引入了一种结构感知的分裂优先级机制（structure-aware splitting priority mechanism）。

神经网络形式化验证旨在为网络行为提供数学层面的确定性安全保证，是可信人工智能领域的重要研究方向。随着模型规模扩大，平衡验证成功率和计算效率成为关键挑战。现有方法中，精确方法（如混合整数线性规划MILP、可满足性模理论SMT、分支定界BaB）能获得紧致结果但复杂度随网络规模指数增长；近似方法（如区间传播IP、符号区间传播SIP、DeepPoly）利用线性松弛（LR）实现多项式时间验证，但过近似会导致不确定结果。符号区间传播（SIP）结合线性松弛虽具可扩展性，但处理输入区间跨越激活函数线性区域的不稳定节点时，会丢失依赖关系，导致松弛误差逐层累积，尤其底层节点误差对最终结果影响显著。现有输入域划分方法未能充分结合网络结构特征和节点重要性，存在划分策略冗余的问题。为此，研究人员提出节点重要性驱动的分裂方法（NIDS），通过构建综合重要性指标，优先划分高重要性节点对应的输入区域，在有限计算资源下有效抑制早期松弛误差传播，提升验证成功率，论文发表在《Array》。

研究人员使用以下关键技术方法：首先，构建节点重要性度量，包括位置权重（基于层数l和出度deg(v_lⁱ)的指数衰减因子β^j-l）和传播影响（基于局部梯度范数‖?f(x)/?z_lⁱ‖₂与矩阵测度μ(J_k)的指数累积项exp(∑_k=l^L-1μ(J_k))），两者乘积经归一化得到综合重要性I?(v_lⁱ)。其次，采用两级自适应决策：质量约束通过累积重要性阈值η筛选高价值节点集；预算约束通过最大分裂深度H控制子域数量不超过2^H。进一步，引入稳定性感知因子?(v)=|z?_v+z?_v|/(z?_v-z?_v)映射为稳定概率P_st(v)，与重要性得分乘积作为最终选择分数，优先选择高重要性且易稳定的节点。样本队列来源：ChnSentiCorp（情感二分类）、CrossWOZ（任务导向对话）、Cluener（命名实体识别）三个文本分类数据集。

研究结果如下：

4.1 实验设计：研究人员在自然语言处理文本分类任务上，以SIP+LR和DeepPoly为基线，在三个数据集上评估NIDS。实验环境为Intel i7-9750H CPU、16GB RAM、GTX1660Ti GPU，基于PyTorch框架。

4.2 实验评估指标：验证成功率（测试样本中能成功验证安全属性的比例）和可扩展性（验证率和效率随模型规模及划分子域数的变化趋势）。

4.3 实验评估：
4.3.1 验证成功率比较：通过对比SIP+LR、DeepPoly和NIDS在三个数据集上的验证成功率，发现NIDS在所有数据集上均优于基线，尤其在ChnSentiCorp和CrossWOZ上提升显著，在Cluener上提升有限。原因是ChnSentiCorp为低维二分类任务，稳定早期高权重词的表征能扩大类间间隔；而Cluener输出空间高维结构化，重要性分布分散，划分带来的稳定化效果较弱。
4.3.2 敏感性分析：通过改变最大分裂深度H，发现验证成功率随H增加而提升，但运行时间近似线性增长，且边际效益递减。在H从2增至4时，增量收益成本比（Δa/Δt）最高，表明初始划分针对高重要性节点能快速降低关键误差源；后续划分针对次要节点，收益降低。在ChnSentiCorp和CrossWOZ上比值较高，Cluener上较低，与输出空间维度相关。
4.3.3 节点重要性度量的消融研究：构建NIDS-Pos（仅位置权重）、NIDS-Inf（仅传播影响）和NIDS-Full（两者结合）三种变体，在三个数据集上比较。NIDS-Pos在早期划分阶段提升明显但很快饱和，因位置权重仅反映静态拓扑；NIDS-Inf能捕获高局部输出敏感性的节点，但未考虑浅层节点的长误差传播路径；NIDS-Full结合两者，在所有数据集上获得最佳验证性能，表明两者提供互补信息。

总结讨论部分：研究人员承认方法局限性，包括仅在多层感知机文本分类模型上验证，未涉及大规模架构和多种模型类型；实验数据集规模有限，未来需评估高维输入（如图像）、多模态数据及复杂安全属性验证。未来方向包括改进重要性度量（融入更精细的梯度信息或节点间交互效应），并将NIDS扩展到更大模型及多模态学习环境，以及与基于优化边界传播和分支定界的先进验证框架（如β-CROWN）集成。研究结论：总之，NIDS方法为深度神经网络验证提供了一种新颖的结构化视角，通过引入对网络内部结构和误差传播动态具有敏锐意识的机制，为推进可信人工智能的发展贡献了一种有价值的方法。