在面向边缘云系统的机器学习研究中运用神经图编译器

《IEEE Transactions on Parallel and Distributed Systems》：Leveraging Neural Graph Compilers in Machine Learning Research for Edge-Cloud Systems

　　

摘要：

本研究对不同硬件平台上的神经网络图编译器进行了全面评估，旨在弥补理论优化方法与实际应用场景之间的差距。我们展示了厂商特定的优化措施如何影响不同架构类型之间的性能比较，有时在编译后会完全改变原有的性能优势。通过系统分析，我们发现图编译器的性能表现很大程度上取决于神经网络架构和批量大小。通过细致的模块级实验，我们确定厂商特定的编译器能够利用简单架构中的重复模式，随着模型深度的增加而获得更高的吞吐量提升。我们还提出了相关指标，用于量化编译器在批量大小增加时降低性能损耗的能力。这一方法将图编译器测试转化为机器学习系统的设计反馈，帮助研究人员验证在目标硬件上编译后，关于架构、批量处理和资源利用的结论是否仍然有效。