K-DAREK：面向安全关键应用的神经网络最坏情况误差估计与量化框架

《IEEE Open Journal of Control Systems》：Worst-Case Distance-Aware Error Bounds for Neural Networks

　　

摘要：

机器学习在安全关键应用中需要能够支持可靠最坏情况分析的不确定性估计。神经网络（NNs）能够提供强大的函数逼近能力，但通常缺乏易于处理的最坏情况下的误差界限；而高斯过程（GPs）在大规模应用时计算成本较高。我们提出了一个通用的框架，用于计算神经网络在最坏情况下的误差界限，该框架结合了密集表示方法和基于样条的算法。我们的方法建立的误差界限既考虑了测试点与其最近训练数据之间的距离，也考虑了最坏情况下的情况，能够在已知的Lipschitz约束下提供确定性的误差界限，而不需要依赖概率假设。我们的算法K-DAREK（Ku?rková-Kolmogorov网络的距离感知误差估计）能够为神经网络提供高效且易于理解的误差界限量化。与KANs（神经网络集合方法）相比，K-DAREK的速度快约4倍，计算效率提高10倍；在内存需求方面，其可扩展性比GP高8.6倍；在多智能体安全控制实验中，K-DAREK将误差界限违规率降低了8.2%；同时将平均碰撞率从1.8%降至1.1%。在复杂的实际回归任务（例如房地产评估）中，K-DAREK能够保持对距离的敏感性，并实现零违规覆盖率，有效解决了SNGP和DUE所存在的问题，即过度泛化和诱导点覆盖限制。