用于喷气发动机预测性维护的嵌入式人工智能:基于FPGA的边缘平台上的硬件感知部署
《IEEE Access》:Embedded Artificial Intelligence for Predictive Maintenance of Jet Engines: A Hardware-Aware Deployment on FPGA-Based Edge Platforms
【字体:
大
中
小
】
时间:2026年04月30日
来源:IEEE Access 3.6
编辑推荐:
摘要:人工智能和嵌入式平台的进步使得航空航天领域能够开发出先进的预测性维护解决方案。目前,关于飞机发动机机械部件的故障数据相当有限,尤其是故障发生前的信息缺失,因为获取这些信息既困难又昂贵。为了克服这一难题,并促进基于数据驱动方法来检测时间模式的方法论的发展,人们开发了工具来模拟
摘要:人工智能和嵌入式平台的进步使得航空航天领域能够开发出先进的预测性维护解决方案。目前,关于飞机发动机机械部件的故障数据相当有限,尤其是故障发生前的信息缺失,因为获取这些信息既困难又昂贵。为了克服这一难题,并促进基于数据驱动方法来检测时间模式的方法论的发展,人们开发了工具来模拟这些部件直至故障发生的时间演变过程。本文提出了一种新方法,利用一组模拟数据来提高预测模型的吞吐量推断能力,从而估算喷气发动机的剩余使用寿命(RUL)。所提出的模型在设计和实现上较为简单,但仍能匹配或超越大多数对比算法,展现出显著的结果。随后,这些模型被量化并编译以便在深度学习处理单元上执行。尽管这些优化和部署步骤会略微降低准确性,但它们通过利用硬件平台的效率实现了低能耗。对于像航空航天应用中所需的关键嵌入式系统来说,这些改进至关重要。CCBY - IEEE 并非该材料的版权所有者。请通过 https://creativecommons.org/licenses/by/4.0/ 遵循说明以获取全文文章和 API 文档中的规定。
第一部分 引言
航空航天领域的应用要求可靠性、准确性和吞吐量极高,因为操作环境的特殊性[1]。其中,喷气发动机[2] 是高度关键的系统,它们对于确保飞机的正常安全运行至关重要。其维护在评估发动机效率、效果以及估算剩余使用寿命(RUL)方面起着关键作用。预测性维护策略对于识别潜在故障和降低与安全关键航空航天系统突然故障相关的风险至关重要[3]。最近的飞机发动机研究表明,数据驱动的预测方法可以支持 RUL 估算[4] [5] 和自适应维护规划[6]。
数据驱动预测的最新进展带来了多种 RUL 估算方法,包括传统的机器学习模型、卷积神经网络(CNNs)、循环神经网络(RNNs)以及长短期记忆(LSTM)和门控循环单元(GRU)等循环架构。虽然这些方法在预测准确性方面表现优异,但它们经常忽略了部署限制,例如有限的计算资源、严格的功率预算以及嵌入式航空航天系统典型的确定性延迟要求。
航空航天系统的预测性维护越来越需要边缘智能,即模型必须在严格的功率、确定性延迟和长期部署可靠性约束下在设备上运行。在安全关键的环境中,即使是微小的预测错误也可能影响维护调度和安全裕度。因此,除了准确性之外,确保模型行为可靠、可预测并且适合认证导向的工作流程也是至关重要的。换句话说,仅仅在工作站上报告准确性是不够的:从数据准备和训练到量化、编译以及目标设备执行的整个流程都必须是可复现的并且考虑到硬件的限制。
预测性维护的一个关键方面是分析历史数据,以捕捉特征与 RUL 之间的模式和关系。然而,由于收集实际数据的成本高昂且困难[7],获取此类数据具有挑战性。为了解决这个问题,NASA 开发了商业模块化航空推进系统仿真(C-MAPSS)工具[8]。该工具可以模拟大型商用涡轮风扇发动机,并考虑一些故障和操作条件。因此,可以创建四组模拟数据(FD001、FD002、FD003 和 FD004),这些数据在近年来被广泛用于预测性维护领域的数据驱动模型设计、训练和评估[9] [10]。这些数据集已被广泛用于基准测试不同的 RUL 估算方法,包括基于 CNN 的方法、基于 RNN 的模型和混合解决方案,尽管它们的特点和局限性在比较分析中并不总是被明确讨论。
通常,时间序列回归任务使用基于 RNN 架构的数据驱动算法来解决[11]。RNNs 通过递归结构处理序列数据,其中每一步的输出都依赖于之前的状态。这一特性对于保留先前计算的信息至关重要,使它们特别适合分析时间依赖的数据。最常用的 RNN 单元包括长短期记忆(LSTM)[11] [12] [13],它可以长期保留信息,以及门控循环单元(GRU)[11] [14],这是一种计算效率更高的 LSTM 变体,具有更少的门数。
除了基于 RNN 的方法外,还探索了其他架构,如卷积神经网络(CNNs)[15] 用于时间序列分析。虽然 CNN 传统上用于图像处理任务,但它们可以通过将时间序列视为矩阵来处理时间依赖的数据,从而实现高效的特征提取[16]。
最近在 RUL 预测方面的进展越来越关注更复杂的深度学习架构,包括基于变压器的模型[17]、注意力机制[18] 和 CNN-RNN 混合框架[19]。这些方法在捕捉长期时间依赖性、复杂退化模式和高维数据集中的非线性关系方面表现出更好的能力。特别是基于注意力的模型和变压器架构在没有循环结构限制的情况下展示了有希望的结果。然而,尽管它们的预测性能很强,但这些方法通常涉及更高的计算复杂性、更大的内存占用以及依赖于并不总是能被 FPGA 基础平台等硬件加速器高效支持的运算。这往往会导致与延迟、能耗和资源受限的嵌入式环境中的部署可行性相关的挑战。相比之下,采用轻量级 CNN 架构(如本文提出的那种)的方法,专门设计为与 FPGA/DPU 执行兼容,能够高效地映射到硬件加速器上,确保确定性延迟、减少内存带宽需求并提高能源效率。因此,本工作的重点不是最大化架构复杂性,而是在安全关键嵌入式系统中实现预测性能和可部署性之间的平衡。实际上,与更复杂的循环架构相比,基于 CNN 的模型在计算效率和预测能力之间提供了有利的平衡,使其特别适合在资源受限的硬件加速器(如基于 FPGA 的系统)上部署。
从这个角度来看,本工作的主要贡献不是引入复杂的模型架构,而是开发了一种考虑算法设计和嵌入式部署约束的硬件感知协同设计方法。在这项工作中,新颖性不在于神经网络的架构复杂性或在对每个 C-MAPSS 子集的绝对优越性上。相反,我们的主要目标是展示一个端到端的硬件感知工作流程,该流程综合考虑了模型设计、数据预处理、量化和部署约束,同时保持竞争性的预测准确性,并能够在基于 FPGA 的边缘平台上实现高效部署。在这个范围内,本文的贡献应从平衡的准确性、吞吐量和可部署性方面进行评估。我们的硬件感知协同设计方法使得 AI 模型能够针对基于 FPGA 的边缘平台进行系统优化,弥合了算法开发和实际嵌入式执行之间的差距,这在现有文献中常常被忽视。我们的方法允许在最终平台上评估性能和能源之间的权衡。最终,我们提出了一个完整的端到端工作流程,用于设计、优化和部署嵌入式系统中的 RUL 预测 AI 模型。我们的方法依赖于由标准 Conv2D、BatchNorm2D、Pooling2D 和全连接层组成的简化卷积架构。最后,我们的研究重点关注预测性能、量化效果和执行效率。在这个阶段,只有当需要针对安全关键部署进行扩展时,才会讨论认证导向的方面,如不确定性量化和容错运行时机制。
因此,本工作的一个重大贡献在于将以视觉为中心的硬件加速器适配为执行有效的时间序列回归任务。通过这种硬件感知设计,我们证明了当 CNN 基模型经过适当优化并配合适当的预处理时,可以作为基于 LSTM 或 GRU 的更复杂架构的可行且资源高效的替代方案。尽管在量化和部署过程中可能会引入轻微的准确性损失,但所得模型保持了可接受的预测性能,同时显著提高了推理效率,这对于实时和安全导向的应用至关重要。这对于资源有限的嵌入式环境中的应用尤其相关,因为必须最小化推理延迟。所提出的方法特别针对边缘设备的严格资源限制进行了定制,同时确保高性能和模型准确性。
我们的硬件-软件预测维护策略包括四个模型的训练和测试阶段,每个模型对应一个 C-MAPSS 子数据集。然后使用 AMD Xilinx Vitis AI[20] 对这些模型进行量化和编译,并在 AMD Xilinx Kria KV260 硬件平台上部署[21]。虽然本文中的实现针对 AMD Xilinx Vitis AI 工具链和 KV260 平台,但所提出的方法在很大程度上是平台无关的。整个工作流程,包括数据预处理、模型设计、量化和部署,旨在可扩展、可移植,并适应其他具有类似优化推理执行支持的边缘 AI 框架和硬件加速器。
本文的主要贡献总结如下:一种针对 FPGA/DPU 执行的、在严格功率和确定性延迟约束下定制的硬件感知 CNN 基 RUL 预测框架;一个在真实硬件上验证的端到端嵌入式 AI 工作流程(特征选择、预处理、量化、编译、部署);详细的准确性-吞吐量-功率分析,包括内存占用和每次推理的能源估计,以量化嵌入式效率的权衡。
本文的其余部分组织如下。第二部分描述了 C-MAPSS 工具和数据集。第三部分介绍了所提出的方法。第四部分提供了评估指标和实验结果,并进行了与嵌入式 GPU、TPU 和其他 FPGA 平台的扩展比较。第五部分得出了结论,第六部分讨论了所提出方法的局限性。
第二部分 问题分析与实验数据
预测与健康管理(PHM)在航空航天领域变得至关重要,特别是对于喷气发动机,以优化操作性能和经济效率[22]。PHM 包括预测,即估计组件健康状态并预测故障可能发生的时间,以及预测性维护,它利用这些预测仅在必要时进行维护。这种方法有助于估算喷气发动机的 RUL,避免过度维护(成本高昂)和延迟维护(可能危险)。
RUL 预测通常使用依赖于历史故障和发动机使用记录的时间信息的数据驱动模型[24] 来生成。其中一个主要的参考数据集是通过 NASA 设计的商业模块化航空推进系统仿真(C-MAPSS)工具获得的[8] [23]。该工具可以模拟一类发动机,如图 1 所示,推力为 90,000 磅,工作高度从海平面到 40,000 英尺,马赫值在 0 到 0.90 之间,海平面温度范围从 -60 到 103°F[23]。
C-MAPSS 使用 MATLAB 和 Simulink 开发,允许配置 14 个输入参数(见表 1),包括操作剖面、闭环控制器和喷气发动机的环境条件,这些条件描述了故障和退化情况。然后,该工具生成 58 个输出参数(部分在表 2 中列出),这些参数可以监控喷气发动机在其整个使用寿命期间的情况,考虑到每个发动机单元可能在不同的飞行条件下运行[8] [23]。
具体来说,数据生成遵循以下关键步骤:初始化退化状态;应用指数变化率来模拟流量和效率损失;确定何时满足故障标准;以及添加测量噪声。输出包括多变量时间序列数据,其中每个条目代表单个发动机的快照,并包含给定周期步骤中 21 个传感器的测量值。这些传感器读数捕获了发动机随时间的渐进退化情况,可观察到的信号变化表明故障即将发生。
C-MAPSS 提供了四个子数据集:FD001、FD002、FD003 和 FD004。每个数据集都由一个训练集和一个测试集组成,测试集有一个对应的RUL(剩余使用寿命)目标值向量。具体来说,每个训练集和测试集包括26个特征:单元编号、循环索引、3个操作设置以及21个传感器测量值。关于故障进展,训练集包含了故障逐渐发展直至系统完全失效的完整时间序列,而测试集则包含了在故障发生前不久就终止的截断时间序列。更多细节见表3。
表3 C-MAPSS子数据集描述
在故障条件方面,FD001和FD002包含与高压压缩机(HPC)退化相关的单一故障模式,该压缩机在空气进入燃烧室之前对其进行压缩。这会影响发动机的效率及其产生动力的能力。FD003和FD004则具有两种故障模式,涉及HPC和风扇模块的退化。这两种组件的同时退化在某些条件下会显著损害系统的性能。
FD001和FD003模拟海平面条件,发动机在稳定且均匀的环境参数下运行。相反,FD002和FD004涉及六种不同的操作条件,代表了更加多变和极端的操作环境。
正如引言中所讨论的,最近的RUL预测方法在建模能力、预处理策略和部署成本方面存在显著差异。在本文的其余部分,我们将重点介绍问题设置、C-MAPSS数据特性以及提出的硬件感知工作流程。
第三部分 提出的方法论
基于第二部分介绍的问题设置和引言中提供的相关工作综述,我们的方法利用特征选择、预处理以及一种轻量级但有效的基于CNN的架构来进行硬件感知的RUL预测。具体来说,我们采用特征选择、特征缩放和滑动窗口分割策略将多变量时间序列转换为适合卷积处理的结构化输入。与文献中常用的更复杂的基于RNN的模型不同,我们的方法依赖于一个由标准Conv2D、BatchNorm2D、Pooling2D和全连接层组成的简化卷积架构。这种架构选择不仅是为了保持计算效率,也是为了满足部署硬件的特定约束。特别是,所提出的模型旨在在基于AMD UltraScale+ MPSoC技术的AMD Xilinx Kria KV260平台上运行。
尽管这样的平台主要支持卷积运算,对于RUL估计等时间回归任务来说不是最直接的选择,但它因其能够在边缘提供确定性和能效高的深度学习推理而受到青睐,同时紧密集成了AI加速和传感器处理。其基于FPGA的架构,加上专用的深度学习处理单元(DPU)的可用性,使得INT8量化的神经网络能够在不依赖共享计算资源的情况下实现低延迟执行。这种方法提供了一种简化且可复制的部署工作流程,使该平台非常适合在安全导向的航空航天环境中进行实时预测性维护。
所提出的流程如图2所示,由几个连续阶段组成,每个阶段在实现高效和稳健的嵌入式AI解决方案中都起着关键作用:特征重要性分析和选择确定了最相关的特征,从而减少了维度和计算成本。数据预处理确保了输入特征的标准化,并将其排列成2D结构,以最大化训练效率和泛化能力。训练涉及为目标设备设计和训练模型。CPU测试使用标准评估和性能指标来评估训练好的模型。量化减少了训练模型的大小和计算成本,同时对准确性的影响最小。编译通过生成优化的计算图来实现量化模型在嵌入式平台上的部署。部署通过评估模型在目标设备上的性能并将其与量化前的指标进行比较来完成整个过程。DPU测试包括在嵌入式硬件平台上的硬件测试。
图2. 在目标设备上设计、优化和部署AI模型的分阶段流程。
这种模块化流程支持AI模型的端到端优化,使得在资源受限的嵌入式平台上能够进行高效的推理。以下小节将详细讨论所提出工作流程的每个阶段。
A. 特征重要性分析和选择
估计特征重要性是基于数据驱动技术的预测模型开发中的基本步骤,对于提高模型性能、降低复杂性和增强可解释性至关重要。特别是,特征重要性由一个数值表示,该数值量化了每个特征在决定模型输出中的贡献。高数值表示对预测有显著影响的特征,而重要性低的特征可以被认为是不必要的,因此是多余的。这个过程可以使用不同的技术来执行。在这项工作中,采用了基于随机森林回归器的方法,这是一种基于决策树集合的监督学习算法。它配置了100个估计器和一个固定的随机状态42,以确保可重复性。表4报告了所有训练子数据集中传感器响应的特征重要性值。得分低于1^-3的特征被认为是多余的,并从训练和测试子数据集中移除,以进行后续步骤。除了对模型准确性的影响外,这种减少还直接减小了DPU处理的输入张量的大小以及下游阶段的相关内存带宽开销。显然,并非所有特征都对喷气发动机的RUL预测有同等贡献。具体来说,FD001子数据集包含14个非冗余特征,FD002和FD003子数据集各包含15个,FD004包含16个。通过移除冗余特征,即那些重要性得分低于先前设定的阈值的特征,可以简化流程的后续阶段。这种特征选择确保可以设计和部署更高效、更简单的数据驱动解决方案。需要注意的是,模型复杂性与输入特征的数量有关:降低维度可以减少参数数量,通常会提高泛化能力并降低计算成本。
表4 使用随机森林回归器对C-MAPSS子数据集进行的特征重要性分析
B. 数据预处理
众所周知,有效的数据预处理对于确保模型的稳健性、泛化能力和与硬件受限部署环境的兼容性至关重要[25]。在这项工作中,我们采用了针对多变量时间序列数据运行的回归模型定制的预处理流程,包括特征缩放、基于滑动窗口的时间序列生成和数据分割。
算法1概述了这里采用的特征选择和时间序列准备过程。首先使用随机森林回归器来估计传感器重要性并移除贡献较小的特征,从而减少输入维度和噪声。然后使用最小-最大缩放对数据进行标准化,将其分割成重叠的滑动窗口,并通过上限RUL裁剪来稳定回归任务。最后,使用固定的随机种子将结果窗口分为训练集和验证集,以确保可重复性。为了考虑到输入特征可能自然存在于不同的尺度上,对于所有训练和测试子数据集中的非冗余特征,采用了(1)中定义的最小-最大缩放器。
X′= (X - Xmin) / (Xmax - Xmin) (1)
其中X′表示缩放后的数据,Xmax和Xmin分别代表未缩放数据X的最大值和最小值。这个过程将非冗余的传感器响应缩放到[-1,1]的范围内,提高了数值稳定性和训练收敛性。
算法1 特征选择和时间序列准备流程
要求:原始C-MAPSS轨迹(训练/测试)、RUL目标
确保:用于CNN训练/推理的窗口化张量
1: 在训练数据上训练随机森林回归器
2: 计算特征重要性得分并移除低于阈值的特征
3: 在训练数据上应用最小-最大缩放器;应用于训练和测试
4: 对目标应用上限RUL裁剪
5: 生成具有数据集特定窗口长度的滑动窗口并移位
6: 使用固定种子将训练窗口分为训练/验证(80/20)
为了将原始多变量传感器数据提供的特征Fi转换为结构化的时间序列序列,我们利用了图3中示意化的滑动窗口方法,其中每个窗口W代表一系列连续的时间步长。
图3. 采用的时间序列生成过程概述
这些时间序列序列的生成由一些关键参数控制:窗口长度表示时间窗口的大小,即每个序列中包含的连续时间步数的数量。对于FD001,窗口长度为30;对于FD002,为20;对于FD003,为30;对于FD004,为15。窗口移位表示窗口在时间序列中前进的步长。所有子数据集都采用了统一的步长值1。上限RUL为RUL目标设置了上限阈值。对于FD001和FD003,该阈值为125;对于FD002和FD004,为150。这种分段线性RUL目标函数降低了RUL过估的风险,从而产生了更真实的系统退化模式[16]。这种设置确保了模型在广泛的时间退化和故障场景下的泛化能力得到改善。最后,为了确保数据分布适合后续阶段,每个训练子数据集被划分为80%用于训练,20%用于验证。为了确保结果的可重复性,随机测试分割种子设置为83。表5报告了分割后所有训练、验证和测试子数据集的轨迹数量。值得注意的是,由于选择了1的移位值,总轨迹数量与原始数据集保持不变。这种设置确保了每个新序列的滑动窗口都向前移动一步,而不会丢弃任何数据。
表5 应用数据分割后每个C-MAPSS子数据集的序列数量
C. 模型配置和学习设置
训练过程是模型开发流程中的关键阶段。本节详细描述了所提出的架构、方法和技术,以最小化预测误差并最大化准确性。
1) 架构设计和层组成
这里在所有数据集中采用的架构结构如图4所示。
图4. 在所有C-MAPSS子数据集中采用的提出架构的概述
后者详细展示了所提出的架构。输入包括来自流程前一个阶段的预处理数据,而输出则是RUL预测结果。模型由三个卷积块堆叠而成,后面跟着一个平均池化和三个全连接层。每个卷积阶段包括一个二维卷积层Conv2D,然后是一个批量归一化层(BatchNorm2D)。Conv2D层分别使用16、32和64个特征图,核大小分别为5×5、3×3和3×3。相应的BatchNorm2D层对相应的16、32、64个特征通道进行归一化,每个通道后面跟着一个ReLU激活函数。随后,应用一个2×2核的AvgPool2D操作来减少空间维度并保留最具代表性的特征。最后,三个全连接层用于对输入数据执行线性变换,特征大小分别为256、128和1,每个层后面跟着一个ReLU激活函数。总之,所提出的架构包括以下组件:二维卷积层由于其捕捉空间相关性的能力,可以有效地适应时间序列建模。在这种情况下,时间序列数据被结构化为一个二维矩阵,其中一个维度对应时间,另一个维度对应传感器响应。这种选择是一种计算效率更高的替代方案,相比基于LSTM或GRU单元的RNN架构,后者需要更高的计算成本。使用二维卷积层可以开发出参数更少、能耗更低的数据驱动模型,同时仍能实现高预测准确性。在每个二维卷积层之后应用二维批量归一化层。通过在小批量级别对激活值进行归一化,这种技术可以减少协变量偏移的影响,并缓解梯度消失和爆炸现象。因此,它促进了更快的收敛并提高了整体模型性能。在Conv2D-BatchNorm2D层链之后引入了二维平均池化层,以降低时间和空间维度。这种方法有助于保留全局上下文,帮助限制过拟合的风险。在全连接层之后插入二维平均池化层,以结合卷积和池化操作期间提取的特征。这些密集的层负责学习复杂的非线性关系并生成最终的预测结果。更多的架构细节在表6中提供。虽然CNN的架构保持不变,但由于输入特征数量的不同,各个模型的参数总数会有所不同,这一点在特征重要性和选择过程中已经讨论过。最终的参数总数分别为:FD001为597729,FD002为351969,FD003为597729,FD004为253665。表6显示了每个C-MAPSS子数据集每层的可训练参数数量。
2) 训练策略和优化设置
模型训练中的一个关键组成部分是损失函数,它定义了预测输出和目标之间的差异。在本研究中,采用了平滑L1损失函数,因为它在鲁棒性和数值稳定性之间提供了平衡的折中[26]。它是Huber损失的一个变体,常用于深度学习应用中,并在公式(2)中正式定义,其中δ=1是一个阈值,用于区分损失表现为均方误差(MSE)函数(L2范数)的区域和表现为平均绝对误差(MAE)函数(L1范数)的区域。在这里,yi表示观测值,而yi^表示预测值。值得注意的是,与Huber损失一样,平滑L1损失在直观性和计算成本上都不如MAE和MSE损失函数。
为了优化模型参数,选择了Adam算法,因为它具有快速的收敛特性[27]。为了确保学习速度和稳定性之间的最佳平衡,初始学习率被设置为0.001,并在总训练周期的20%和40%时分别减少0.1倍,遵循逐步衰减的策略。由于总训练周期数为20,因此学习率在第四个周期衰减到0.0001,在第八个周期衰减到0.00001,这使得模型在早期阶段能够快速学习,然后在后期稳定并精炼权重。
此外,批量大小被设置为64,以平衡计算效率和训练速度。图5显示了四个C-MAPSS子数据集的训练损失和验证损失随时间的演变情况。所有曲线都显示出所有C-MAPSS子数据集的稳定收敛,没有显著的过拟合现象。FD001和FD003的收敛速度更快,而FD002和FD004由于操作复杂性增加,初始损失较高。在所有情况下,训练曲线和验证曲线之间的紧密对齐证实了所提出的训练流程的鲁棒性。
D. CPU评估
测试阶段对于确保训练模型的可靠性和准确性至关重要。这个过程验证了它们的泛化能力以及在实际条件下的适用性。为此,每个模型都在其测试数据集上进行了测试,这些数据集代表了各种场景,以便计算评估指标并分析其性能。在这项工作中,每次评估都是使用Intel Core i7-1065G7 CPU(1.30GHz)进行的,虚拟机限制为两个CPU核心和8GB的RAM。需要注意的是,CPU基线被有意配置为模拟资源受限的边缘环境,而不是高性能计算场景。这种选择反映了嵌入式系统的实际部署条件,其中必须考虑有限的计算资源和功率预算。因此,比较的目的是突出实际部署中的权衡,而不是峰值性能差异。这种环境为在低功耗或对延迟敏感的应用中的潜在集成提供了宝贵的见解。
评估和性能指标在第四节中呈现和讨论,其中每个结果都与之前回顾的文献中的发现进行了分析和比较。
E. 量化
量化是优化深度学习模型以在资源受限环境中高效部署的关键过程,它减少了与模型参数相关的位数,并使推理计算强度降低。在这项工作中,使用了AMD Xilinx Vitis AI Quantizer [20]。该工具以浮点模型作为输入,并执行几个预处理步骤,包括批量归一化(BN)折叠和移除对推理不必要的节点。具体来说,BN操作在数学上被折叠到前一层的权重和偏置中,通常是卷积层。此外,所有仅用于优化目的但在推理中无用且可能有害的训练操作都被移除。这个过程提高了推理效率,减少了延迟和占用空间,简化了图的量化,并消除了不必要的计算开销。由于这个过程旨在生成用于在DPU嵌入式平台上编译和部署的量化模型,因此只有目标平台支持的模型才能被量化。因此,在校准之前,会执行一个检查步骤来生成分区信息,指定哪些操作由DPU支持,哪些必须留在CPU上。由于DPU通常提供的吞吐量远高于CPU,因此目标是最大化在DPU上可执行的模型部分。这个过程将权重和激活值从FP32转换为INT8,试图根据第四节中呈现和讨论的几个评估指标来最小化准确性损失。如果需要,可以预见一个重新训练阶段来恢复任何显著的准确性损失。最后,量化模型被转换为适合DPU部署的形式,以便使用AMD Xilinx Vitis AI编译器进行编译,并直接部署到支持DPU的硬件平台上。
F. 编译
编译过程将量化模型映射成适合DPU执行的指令序列。我们使用了AMD Xilinx Vitis AI编译器[20],它解析量化模型的拓扑结构,然后使用Xilinx中间表示(XIR)构建内部计算图。其目的是将量化模型转换为针对AMD Xilinx Kria KV260优化的可执行代码,该平台集成了DPUCZDX8G架构。这个工具生成的计算图对于在DPU上的有效部署和优化执行至关重要。XIR通过其核心组件:Op、Tensor、Graph和Subgraph(SG)提供了模型的模块化和灵活表示。这种表示支持内存中和文件格式,前者是图对象,后者是xmodel。图对象可以序列化为xmodel,并反序列化为图对象。图6示意了本工作中提出的四个量化模型的计算图。该图展示了在AMD Xilinx Kria KV260上部署的量化模型的完整SG级执行流程。每个SG报告张量形状,以清晰地追踪从输入到输出的数据流。可以观察到,DPU执行图包括各种模块,每个模块都与量化模型架构中的一个层相关联。在使用的模块中,我们可以区分出对应于卷积层(Conv2D)、ReLU激活、平均池化(AvgPool2D)和全连接层(FC)的模块。
F. 在AMD Xilinx Kria KV260上的部署和DPU评估
在图划分之后,提取了DPU执行图,并使用它来实例化一个DPU运行器,作为运行时兼容的执行器,从而在DPU上实现高效的推理。图7显示了实现的异构FPSoC的组织结构以及每个参与部分的主要职责。处理系统(PS)执行控制和主机端任务(例如,输入张量准备和调度),而可编程逻辑(PL)托管DPU加速器。PS和PL之间的数据传输通过AXI互连和共享DDR内存进行,实现了可预测的通信和确定性执行。
AMD Xilinx Vitis AI运行时(VART)执行环境[20]被用来在DPU上以最小的开销执行我们的量化模型,从而显著加速了部署和集成工作流程。为了执行推理步骤,用每个模型所需的输入特征初始化了一个输入张量缓冲区,并分配了一个输出张量缓冲区来存储相应喷气发动机的预测RUL。随后,通过异步调用DPU运行器来调用推理过程。值得注意的是,所提出的流程并不局限于本研究中使用的特定硬件平台。使用其他工具链(例如,TensorRT、OpenVINO、TVM)也可以实现等效的工作流程,并部署在不同的边缘加速器上,包括GPU、TPU和其他基于FPGA的系统,前提是具备兼容的量化和编译步骤。
IV. 实验结果和讨论
为了评估所提出方法的预测准确性和计算性能,我们使用了均方根误差(RMSE)、决定系数R2、竞争得分Score以及每秒推理次数(IPS)[8]、[28]。RMSE和R2分别在公式(3)和(4)中定义,用于基于观测数量N、观测值yi、预测值yi^和观测值均值yiˉ来评估模型的回归准确性。
Score指标在公式(5)中定义,其中di=yi^?yi表示观测值yi^和实际值yi之间的误差,a1=10,a2=13是决定过估计和低估惩罚严重程度的缩放常数。
最后,IPS根据公式(6)量化了硬件级性能,其中Ttot是完成n次推理操作所需的总时间。
这些指标共同使得评估更加平衡,突出了所提出的硬件执行方法相对于现有技术方法的优点和潜在限制。接下来,将展示基于CPU的评估结果,并与[4]、[7]、[9]、[10]、[16]进行比较。然后,将所提出模型的基于DPU的实现与基于CPU的实现进行准确性和速度性能的比较。最后,进行了性能分析和系统分析,以评估在AMD Xilinx Kria KV260 DPU上实现的推理性能。
A. CPU评估和比较结果
在基于CPU的评估中,提出的模型使用FP32表示法来分析权重和激活值。获得的结果总结在表7中,同时也与[4]、[7]、[9]、[10]、[13]、[16]进行了比较。表7显示了在所有C-MAPSS数据集中基于CPU的FP32模型之间的比较。尽管如此,我们的方法在准确性方面仍然具有竞争力,并且如下文所述,它支持嵌入式部署,而这在[13]中并未提及。对于FD001数据集,[7]中提出的去噪在线序列极限学习机(DOS-ELM)方法展示了最佳的RMSE和分数值。然而,必须指出的是,我们的方法是其最有力的竞争者。相反,对于FD003数据集,所提出的模型展示了最低的RMSE和最高的R2及分数值,表现优于其他方法。对于FD002和FD004数据集,所提出的模型虽然RMSE略高,R2和分数值略低,但考虑到它们更简单的架构,仍然具有很高的竞争力。为了与[4]中展示的基于随机抽样的类平衡(RSBCB)方法进行比较,RMSE被缩放到[0,100]的范围内,并以百分比表示,如(7)和(8)所示。这一额外的指标提供了更全面的评估,其中较低的数值表示模型性能的提升。
NRMSE[%] = 100 × √(1/N) ∑(yi ? y′i)2 / (ymin ? ymax);y′i = (yi ? ymin) / (ymax ? ymin) (7) (8)
获得的结果表明,在FD001数据集中,所提出的架构的性能优于RSBCB[4],NRMSE降低了16%。相反,在FD002、FD003和FD004数据集中,RSBCB[4]的NRMSE[%]较低,这表明它在面对不同的操作模式时保持了更强的鲁棒性。有趣的是,表7显示,所比较方法的准确性指标会随着数据集的不同而变化。这可以归因于训练和测试数据集的不同特性。例如,FD003的更高变异性导致其性能低于FD001。同样,FD002和FD004的性能较差是由于它们的数据集变异性更大,分别包含六种操作条件和一两种故障模式。这种增加的变异性引入了额外的复杂性,最终导致预测准确性的降低。此外,考虑到分数指标,还可以进行进一步分析。由于它对较大的预测误差赋予了指数级的惩罚,而FD002和FD004的错误率高于FD001和FD003,因此它们的分数值显著更高。
B. DPU评估结果与CPU评估指标的比较
分析与DPU推理执行相关的评估和性能指标对于评估预测准确性和计算效率之间的权衡至关重要。因此,CPU和DPU执行之间的比较不应被解读为通用处理器和专用加速器之间的简单性能基准测试。相反,它旨在强调在资源受限环境中在专用硬件上部署AI模型的实际优势,在这些环境中,确定性延迟、能效和吞吐量至关重要。表8报告了基于CPU和量化的DPU的推理之间的比较,以及它们的百分比变化。
表8 基于CPU和DPU的模型在相关子数据集上的比较
基于CPU的模型使用1.30GHz的Intel Core i7-1065G7 CPU进行测试。相反,基于DPU的实现将权重和激活量化为INT8数据格式,在图7中所示的硬件平台上进行分析,该平台配备了运行在1.333GHz的四核ARM Cortex-A53处理器和运行在300 MHz的DPU。在这样的比较中,还评估了总推理时间Ttot和平均推理时间Tavg。可以看出,对于FD001,DPU推理显示出更低的RMSE,表明预测值更接近真实值。然而,这种执行的R2值略低,表明捕捉传感器数据与预测剩余使用寿命(RUL)之间关系的能力较弱。分数指标与RMSE趋势一致,显示出更低的值,进一步证实了预测准确性的提高。值得注意的是,推理吞吐量提高了约14.9倍,因为平均执行时间减少了一个数量级。
对于FD002,DPU提供的预测显示出更高的RMSE和分数值,随后是较低的R2,反映了预测误差的增加。尽管如此,平均推理时间减少了约85%,吞吐量提高了约7倍。DPU在FD003上的推理显示出RMSE的增加和R2的减少,分数指标也有所改善,与FD001的情况类似。平均推理时间减少了90%以上,这也导致了吞吐量的显著提高。对于FD004,DPU部署显示出RMSE的增加和R2的减少,分数指标也有所改善。尽管如此,由于推理时间显著缩短,吞吐量提高了约5.7倍。
总体而言,NRMSE指标与RMSE的趋势相同,对于FD001略有下降,而对于FD002、FD003和FD004则有所增加。值得注意的是,即使在INT8量化和DPU部署的情况下,FD001模型的性能仍然优于RSBCB[4],其他模型的性能下降幅度较小。
图8和图9中收集的结果强调了在基于DPU的硬件平台上部署和执行数据驱动模型的优势:尽管准确性略有损失,但平均执行时间大幅减少,从而在时间窗口和每秒预测数量方面显著提高了处理能力。此外,重要的是要注意,所提出的方法基于AMD Xilinx Vitis AI工具链和AMD Xilinx Kria KV260硬件平台,所需的设计工作量最小。实际上,模型实现、量化、编译和DPU执行的整个开发过程都是通过高级设计流程完成的,简化了整个开发过程。
除了准确性和性能指标外,考虑量化模型在现实世界操作条件下的鲁棒性也很重要。INT8量化过程降低了数值精度,可能会增加对输入数据变化和环境因素(如温度波动、传感器噪声和硬件引起的变化)的敏感性。在这项工作中,由于量化导致的准确性下降在所有数据集中都保持有限,表明所提出的模型在标称条件下保持了稳定的预测行为。然而,在不同的环境压力下进行全面评估超出了本研究的范围,这是未来研究的一个重要方向。
1) 量化下RUL估计的安全关键分析
在安全关键应用中,不确定性量化和容错执行是面向认证的预测中的关键方面,但它们解决的是与此处不同的验证维度。在这项研究中,主要关注的是所提出的量化模型是否可能导致超出预定义安全阈值的不安全决策。我们分析的目的是隔离量化和硬件感知部署对嵌入式RUL预测的影响,这些也对面向认证的预测至关重要。因此,这里讨论了采用的量化策略对基于RUL的维护决策过程中预测错误的安全影响。相反,不确定性量化和容错执行机制并未包含在本研究中,原因有三个:i) 我们的主要目标是隔离和评估模型量化和硬件感知部署对嵌入式环境中RUL预测性能的影响;ii) C-MAPSS数据集没有提供概率性的真实值或认证的安全阈值,这使得严格验证置信区间或基于风险的指标变得困难;iii) 有意义的故障注入分析需要一个经过验证的硬件故障模型和特定于平台的特性描述,这超出了本可行性研究的范围。
在预测性维护中,估计的RUL通常与维护决策阈值Tsafe进行比较,Tsafe代表进入不安全操作状态之前的最后允许的干预时间。因此,估计误差ΔRUL = RUL^?RULtrue直接决定了维护行动的时机。低估(ΔRUL<0)会导致保守的决策和早期干预,而高估(ΔRUL>0)可能会延迟维护,可能导致操作超出安全限制。这种不对称性至关重要:从安全角度来看,高估的成本远高于低估。因此,任何准确性下降的可接受性不仅取决于其幅度,还取决于预测误差的分布和偏差,特别是在接近故障时。
从认证的角度来看,航空航天安全标准(例如,FAA AC 25.1309 [29]和ARP4761 [30])要求灾难性故障的概率保持在极其严格的阈值以下(每飞行小时大约10^-9)。虽然RUL预测模型本身没有经过认证,但它们集成到维护决策循环中时不得增加不安全条件的可能性。这意味着即使是在寿命末期的小范围系统高估也是不可接受的,如果它导致违反安全限制的话。在我们的C-MAPSS实验评估中,量化引起的准确性损失在整体指标方面是有限的。更重要的是,在整个退化轨迹中没有观察到系统性的高估趋势,预测行为与原始模型保持一致。这表明引入的误差并未显著改变维护决策。然而,重要的是要强调,当前的评估并没有明确强制最坏情况的保证或概率安全界限。因此,虽然模型效率和准确性之间的权衡在实践中似乎是可以接受的,但在认证环境中部署时需要额外的安全措施。这些措施包括限制最大高估误差、纳入不确定性量化,并对预测的RUL值施加保守的边际,以确保在达到关键阈值之前触发维护行动。
总之,量化引入的权衡是可以接受的,前提是它不会在接近故障时引入系统性的高估,并且采用了适当的缓解策略来确保符合认证导向的安全要求。
C. 性能分析和系统分析
性能分析阶段是评估硬件设计性能的关键步骤。使用AMD Xilinx Vitis AI Profiler,我们首先进行了详细的执行分析,重点关注图6中所示的每个计算的性能。然后,我们在系统层面分析了功耗、内存利用率和推理执行期间的CPU负载。这种方法展示了所提出的基于DPU的实现如何同时确保准确的预测和低功耗。
1) 子图分析
子图分析对于识别潜在的瓶颈至关重要,可以洞察推理管道中计算工作负载的分布情况。表9、表10、表11和表12报告了基于以下分析指标[20]对所有部署模型中每个SG(子系统)进行的详细性能分析:工作负载(WL):表示计算工作量,以千操作(GOP)为单位。运行时间(RT):表示执行时间,以毫秒(ms)表示。性能(Perf):指DPU的有效性能,以GOP量化。权重和偏置的外部内存负载大小(LdWB):指权重和偏置的外部内存负载大小,以兆字节(MB)为单位。特征图的外部内存负载大小(LdFM):表示特征图的外部内存负载大小,以MB为单位。特征图的外部内存存储大小(StFM):表示特征图的外部内存存储大小,以MB为单位。平均带宽(AvgBW):表示DDR内存访问的平均带宽。
表9 FD001的详细性能分析
表10 FD002的详细性能分析
表11 FD003的详细性能分析
表12 FD004的详细性能分析
D. 内存占用和每次推理的能耗
为了量化内存使用和能源效率,我们使用了第III-C1节中报告的参数计数,这些参数可以用来估算FP32和INT8表示形式的模型存储成本(仅包括权重,不包括运行时缓冲区)。表13报告了通过INT8量化实现的占用减少量。此外,利用第IV-D1节中测量的平均系统功耗(5.4 W)和表8中的DPU吞吐量(IPS),得出了每次推理的能耗估计值Einf=PIPS,并在表14中呈现。
表13 INT8量化前后模型权重-存储占用估计(仅包括权重)
表14 基于平均功耗(5.4 W)和DPU吞吐量(IPS)的AMD Xilinx Kria KV260的每次推理能耗估计
由于所提出的架构在所有部署的模型中是共享的,因此所有DPU SG都表现出一致的性能模式。例如,SG1和SG2表现出不同的性能特征。前者由于在架构早期计算负载有限,因此工作负载相对较低。相比之下,后者的性能更高,因为更多的特征图使得DPU的并行计算资源得到了更有效的利用。
此外,可以观察到SG3的工作负载最大,因为它包含了平均池化层。这是由于内存限制导致的:与利用DPU优化架构的卷积层不同,池化操作需要数据缩减和频繁的内存访问。实际上,池化层应用于Conv2D-BN2D链的下游,那里的张量相对较大。作为证据,平均池化SG记录了最高的AvgBW值。
最后,全连接层(SG4、SG5和SG6)的性能最低。由于它们不适合DPU,这些层的工作负载和内存开销有限。
1) 功耗和资源利用率
为了全面准确地分析所提出模型在DPU上的推理执行情况,使用了一个监控系统来记录随时间变化的统计值。具体来说,在108.4秒的时间内收集了40个数据样本,相当于每2.71秒一个样本。图10、图11和图12分别显示了在所有部署模型中监控过程中的功耗、RAM使用率和CPU利用率,推理执行发生在50到80秒的时间间隔内。所有实验都在5V电源电压下进行,芯片上的四个CPU核心以1.333 GHz运行,DPU以300 MHz运行。
图10. 推理执行期间的功耗
图11. 推理执行期间的RAM使用率
图12. 推理执行期间的CPU利用率
在AMD Xilinx Kria KV260上进行的监控显示,所有模型的功耗基本保持一致,推理执行期间的平均值为5.4W。图10中的测量数据显示,DPU的最大贡献分别为0.285W、0.365W、0.445W和0.505W,对应于不同的部署模型。
如图11所示,不同实现中的内存利用率也有所不同,峰值分别为0.937 GB、1.052 GB、1.031 GB和1.032 GB。这些差异主要是由于测试数据集的大小不同:FD002和FD004使用的数据集比FD001和FD003更大,这解释了内存需求的增加,并突出了数据集大小与推理过程中内存占用之间的关系。
在所提到的实现平台上进行的分析表明,CPU利用率在芯片上的核心之间分布不均。CPU3在所有部署的模型中始终以满负荷运行,而其他核心的表现则各不相同。如图12所示,这种差异表明工作负载分布不对称,导致在推理过程中第四个核心被独家使用。
E. 与嵌入式GPU、TPU和其他FPGA平台的比较
为了进一步了解所提出的基于FPGA的解决方案的性能,我们将比较扩展到其他FPGA [33]、[34]、[35]、[36]以及常用于边缘AI应用的代表性嵌入式GPU和TPU平台,即NVIDIA Jetson Orin Nano、NVIDIA Jetson Xavier NX和Google Coral Edge TPU [37]、[38]、[39]。
表15中的比较旨在提供不同边缘计算平台之间架构权衡的定性和高层次评估。表15中报告的GPU、TPU和FPGA平台(不包括AMD Xilinx Kria KV260)的数值是通过一种标准化和保守的估算方法获得的,目的是在相同的模型假设下进行公平和有意义的比较。特别是,所有平台都是在假设相同的CNN架构、相同的输入维度、批量大小为一(这反映了真实的实时嵌入式航空航天应用)、以及硬件支持时使用FP32和INT8精度的情况下进行评估的。
虽然这些数值并非直接来自每个平台的实验部署,但它们的估算有助于突出延迟、吞吐量、能源效率和适用于安全关键嵌入式应用方面的架构权衡。
值得注意的是,尽管嵌入式GPU和TPU可能实现更高的峰值吞吐量(如表15所示),但它们的执行模型依赖于复杂的运行时调度和软件堆栈。相比之下,基于FPGA的加速器提供了静态的数据流执行、可预测的时序行为和稳定的功耗范围,这对于安全关键的航空航天应用至关重要。
此外,扩展的比较还展示了不同FPGA系列如何在可扩展性和能源效率之间进行权衡。较大的平台如ZCU104、ZCU102和Intel Agilex提供了更多的计算资源和灵活性,但代价是更高的功耗和每次推理的能源效率降低。相比之下,Kria KV260中的DPU在性能、能源效率和确定性执行之间实现了更平衡的权衡,使其特别适合嵌入式和安全关键的航空航天应用。在工作流程层面,所提出的预处理、量化、编译和运行时执行序列原则上可以移植到其他嵌入式AI加速器上,尽管仍然需要特定于工具链的转换和验证步骤。
V. 结论
本文提出了一种端到端的流程,用于设计、优化和部署用于航空航天应用中喷气发动机RUL(运行状态预测)的AI模型。鉴于这些系统的操作环境具有关键性,它们要求高可靠性、实时性能、能源效率和鲁棒性,因为故障可能导致灾难性后果。通过使用历史数据和实时测量,数据驱动的算法可以降低飞行中故障或事故的风险,提高人类安全性并降低财务成本。
通过利用NASA C-MAPSS数据集,并结合特征选择、数据预处理和轻量级的基于CNN的架构,所提出的解决方案证明了传统上应用于计算机视觉的卷积模型可以有效地适应在严格硬件约束下的时间序列回归任务。通过AMD Xilinx Vitis AI进行量化和编译,数据驱动的算法被部署在AMD Xilinx Kria KV260上,实现了预测质量和嵌入式效率之间的有效权衡:结果显示出比采用的CPU基线更高的能源效率和更快的推理速度。
总之,这项研究展示了基于硬件的AI设计在高性能预测模型和资源受限的嵌入式系统之间架起桥梁的潜力。通过在准确性、能源效率和吞吐量之间实现有效的权衡,所提出的方法为在航空航天和其他关键工业领域部署智能预测维护解决方案提供了有希望的路径。
VI. 局限性和未来工作
本研究基于NASA C-MAPSS模拟数据集,该数据集可能无法完全捕捉到所有实际操作中的变异性、传感器退化模式、非单调退化行为以及操作飞机发动机中遇到的环境因素。因此,本工作中报告的绝对性能值应被视为所提出的部署工作流程的证据,而不是在役预测系统的最终基准。
当前的实验活动证明了在目标平台上的部署可行性,但尚未在温度变化、振动和硬件老化等环境压力下进行操作资格验证。从安全关键部署的角度来看,本研究尚未包括不确定性量化、置信区间或容错执行机制。此外,所报告的实验并不旨在构成认证证据。相反,我们的论文指出了必须补充所提出工作流程的技术元素,以符合认证导向的道路。后者将需要进一步的验证和验证活动,这些活动应与航空航天实践保持一致,包括模型转换的可追溯性、在极端情况下的鲁棒性分析以及针对相关指导开发和保证期望的评估。
未来工作应优先考虑在真实世界发动机数据上的验证,以确定操作性能界限,研究混合CNN–RNN模型(例如CNN–LSTM/GRU)以处理更长的时间依赖性,并将分析扩展到其他嵌入式基线。此外,还应补充表15中的跨平台比较,包括在替代GPU、TPU和FPGA设备上的直接测量,并量化将工作流程移植到不同工具链所需的工程工作量。
最后,需要部署策略和标准化的中间表示形式,以进一步提高跨异构边缘计算架构的便携性。如IV-B1小节所讨论的,由于几个技术限制,本研究中没有包括完整的验证和验证流程,包括不确定性量化和容错执行。为了向认证导向的部署迈进,未来的工作将扩展当前框架,包括需求级规范、故障附近的错误分析、不确定性量化、鲁棒性测试和运行时监控。目标是确保预测错误不会导致不安全的维护决策,并确保系统在真实世界条件下保持可靠性。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号