TreeHouse：一种基于MLIR的编译流程，用于实时的基于树的推理

《ACM Transactions on Embedded Computing Systems》：TreeHouse: An MLIR-based Compilation Flow for Real-Time Tree-based Inference

提出基于MLIR的TreeHouse编译流程，优化树集成模型实时推理性能。通过基本块布局调整减少分支预测开销，结合LLVM寄存器分配提升整数运算效率，并将浮点运算转换为整数运算。实验表明，在x86、ARMv8和RISC-V架构上，提升树性能提升1.38至8.24倍，随机森林最高提升2.9倍。

　　

摘要

基于树的集成模型是实时推理中具有显著资源效率的方法。为了优化其性能，研究人员开发了几种解决方案来适应它们独特的程序结构（即连续的分支结构），并消除通常在嵌入式计算系统中代价较高的浮点运算。这些解决方案大多在源代码层面实现，随后进行标准编译。因此，端到端的编译流程可以整合这些方法并提供全面的优化。在这项工作中，我们介绍了TreeHouse，这是一种基于MLIR的编译流程，专为树的集成模型的实时推理而设计。首先，我们优化了基本块的布局，以减少推理过程中的分支次数。此外，我们还提供了一种解决方案来优化LLVM寄存器分配，进一步提高效率。为了解决边缘系统中浮点运算性能不佳的问题，我们采用了将数据转换为整数格式的方法。我们使用两种基于树的集成模型（提升树和随机森林）实现了并评估了TreeHouse。总体而言，与现有的决策树技术相比，提升树在x86平台上的性能提升了1.38倍至8.24倍，在ARMv8平台上的性能提升了1.70倍至6.61倍，在RISC-V平台上的性能提升了1.75倍至4.52倍；随机森林在x86平台上的性能提升了1.6倍，在ARMv8平台上的性能提升了2.03倍，在RISC-V平台上的性能提升了2.9倍。