TinyML 流程中的物理结构感知神经网络：反对称性保持、部署核算与训练预算敏感性

《Machine Learning and Knowledge Extraction》：Physics Structure-Informed Neural Networks in the TinyML Pipeline: Antisymmetry Preservation, Deployment Accounting, and Training-Budget Sensitivity

　　

摘要

物理结构感知神经网络 (Ψ-NN) 有望将已知的物理关系纳入紧凑模型，但微型机器学习 (TinyML) 部署增加了压缩、有限精度、编译和硬件约束，这些约束可能改变这些益处在实践中的表现。我们针对 Burgers 方程在 x 上的奇对称性进行了端到端研究。一个 Ψ-NN 通过聚类、8 位整数 (INT8) 量化、编译和 Cortex-M 目标指令集模拟保留了编码关系，实现了 6.0% 的相对 ??2 误差和 0.006 的反称残差；在共同协议下，七个评估的压缩基线中没有哪一个能同时匹配这两项指标。部署核算揭示了一个互补的结果。质心计数不是可部署内存，因为关系/索引表也必须存储，在一字节索引下，将 32 位浮点 (FP32) 权重内存减少限制在大约 4× 倍。在匹配参数数量的情况下，结构化和密集模型具有可比拟的闪存和指令要求，因此，结构在给定的占用空间下提高了 Burgers 的准确性和反称性，而不是自动缩小硬件要求。在完全无损检查点下，中断时机没有独立影响，而预算丢失和检查点退化决定鲁棒性。在十一个问题数据集中，四个测试的描述符中没有哪一个达到预算敏感性的统计显著性。这些结果区分了物理结构保留了什么以及 TinyML 部署必须明确测量什么。