面向资源受限边缘智能系统中决策即服务的基于 Q 裕度的代价敏感动作价值框架

《Future Generation Computer Systems》：Q-margin-based cost-sensitive action-value framework for decision-as-a-service in resource-constrained edge intelligence systems

　　

摘要 边缘物联网和雾计算基础设施的普及加剧了对在严格的资源、延迟和热约束下可靠运行的自主决策机制的需求。在此类环境中，传统的基于概率或精度驱动的模型往往无法捕捉与安全关键决策相关的非对称成本和运营风险。基于先前 IDS 基线的视域 -1 上下文带机构建，本文将入侵检测视为一个通过 Double-DQN 流水线训练的成本非对称动作价值问题，其中每个转换都是终局，因此自举项消失，学习到的动作价值是每个决策的预期整形奖励。在此基础上，我们提出了一种带有连续计数器的指数奖励整形 (ERS) 机制，将成本非对称 IDS 工作点直接内化到学习到的 Q 边际中，使得部署后的推理路径不需要针对每次部署进行阈值校准。本工作没有实现完整的决策即服务 (DaaS) 平台，而是将成本非对称决策框架的核心组件验证为资源受限边缘环境中迈向 DaaS 的构建块。针对最强的成本匹配监督基线（相同骨干网络下的成本加权交叉熵、样本预算和 argmax 推理），在漏报攻击、误报、预期成本或 F1 方面未观察到统计显著性差异（15 个种子下所有 p>0.11），漏报攻击差异的自举 95% 置信区间为 [?842,+1,012]，对应于任一方向上不到 0.07% 的攻击记录，而成本加权交叉熵在评分排序质量上保留了微小但显著的优势。在动作价值族内，针对对称奖励 Double DQN 的奖励项消融实验，在相同的 15 种子协议下将漏报攻击减少了 36% (p<10?9)。因此，本贡献是一个成本非对称决策接口，其部署后的推理路径不需要针对每次部署进行阈值校准，同时附带其边缘验证，而非更优的检测精度。该框架在基于 ARM 的 Raspberry Pi 5 硬件上使用 INT8 量化进行了验证，实现了持续推理温升和 CPU 利用率的显著降低，支持在资源受限的边缘设备上持续运行。

引言 随着边缘和雾计算基础设施不断向高度分布式和自主架构演进，网络边缘智能的角色正从被动推理转向主动的、策略驱动的决策 [1], [2]。未来的边缘系统越来越被期望作为独立的决策实体运行，在不对称风险、有限的计算预算和长期的运营约束下做出安全关键或成本敏感的判断 [3], [4]。在此背景下，主要挑战不再是实现峰值分类精度，而是启用鲁棒、可解释且可部署的决策机制，使其在异构边缘节点上保持有效 [5], [6]。

本工作通过将边缘设备上的成本非对称效用评分作为核心设计原语来解决这一挑战。在当前的视域 -1 设置中，贡献不在于多步信用分配，而在于一种可部署的成本非对称动作价值接口，它将工作点嵌入到训练目标中，并且不需要在边缘硬件上进行每次部署的阈值校准。提议的框架不是通过类概率评分来表达决策，而是学习一个动作价值边际，其符号直接编码 argmax 推理下的成本非对称决策。我们将这种设计称为迈向边缘决策即服务 (DaaS) 的一步，因为它验证了此类决策原语所需的核心组件：成本非对称奖励整形、Q 边际 argmax 推理和训练后量化部署。部署后的推理路径不需要部署时的阈值校准：单次前向传递产生一个风险评分，其决策规则不需要针对每次部署进行调优。固定工作点的成本比本身是在训练期间做出的配置选择，如第 3.3 节所述。本文在具有代表性的非对称成本工作负载（CICIoT2023 上的入侵检测）和基于 ARM 的 Raspberry Pi 5 硬件上验证了由此产生的 DaaS 构建块。更广泛的服务级问题，包括多工作负载泛化、多节点编排和服务接口设计，超出了当前单工作负载、单设备验证的范围。

选择入侵检测作为代表性工作负载，因为它在一个任务中集中了动机 DaaS 原语的运营特征：漏报攻击和误报之间的非对称成本结构、部署时的严格延迟和热预算，以及无需连续云连接运行。潜在的设计原则，即成本非对称奖励整形、argmax 推理下的动作价值评分和训练后量化部署，并不特定于入侵检测，原则上适用于其他非对称成本边缘工作负载，如异常过滤、故障检测和事件优先级排序。经验性地展示这种迁移需要单独的工作负载特定验证，本研究中未作此声明。

边缘智能系统中的决策不仅仅是一个分类精度问题，而是一个联合涉及运营成本、风险和资源约束的优化问题。在真实的工业和城市基础设施中，错误的决策可直接导致延迟、能源浪费、服务中断或安全事故。因此，学习明确调节成本和风险的政策比单独最大化平均性能更为关键 [7]。特别是，假阴性（导致安全或安全漏洞的漏检）和假阳性（不必要的警报和过度反应）之间存在固有的非对称成本结构，这自然将决策过程表述为受联合延迟、能源和资源约束约束的风险感知优化问题。

同时，即使是最复杂的政策，如果无法在边缘设备上实际执行，也会变得系统性无效。IoT 和边缘设备在内存、计算、功率和热预算方面受到严格约束。因此，边缘智能的实际价值不由理论性能决定，而由可部署性决定。因此，最近的 Edge-AI 研究已转向资源感知推理技术，包括量化、混合精度计算、模型压缩和知识蒸馏。特别是，INT8 推理已成为边缘硬件上实时持续运行的事实标准。它是通过量化感知训练 (QAT)（在模拟量化下重新训练模型）或训练后量化 (PTQ)（在不重新训练的情况下转换已训练的模型）获得的 [8], [9]。本工作使用训练后量化，包括其动态和静态形式，使得部署的网络就是训练的网络，不引入量化感知重新训练阶段。

在此背景下，入侵检测系统 (IDS) 构成了一种代表性的边缘智能工作负载，它需要成本和风险感知决策以及资源感知执行，而不仅仅是作为安全应用程序运行。在 IDS 中，FP（假阳性）会产生运营成本和服务中断，而 FN（假阴性）可能导致严重的安全漏洞和关键损失 [10]。因此，IDS 本质上构成了一个成本非对称和风险敏感的决策问题，同时作为一个超低延迟和低功耗工作负载运行，必须在边缘设备上实时运行 [11], [12]。

虽然可以在基准 IDS 数据集上使用基于概率的监督分类器实现高精度，但漏报攻击和误报之间的成本非对称性很大，并且在部署上下文（消费级 IoT 与关键基础设施）之间变化，在监督分类器中捕捉这种非对称性通常需要重新加权损失函数或事后决策阈值调整。这两种补救措施的区别在于工作点固定在哪里：决策阈值调整将其推迟到训练后的事后校准步骤，而重新加权的损失已经在训练期间固定了它。基于奖励的处理属于第二类：它将非对称成本直接内化到训练信号中，使得学习到的政策在训练时产生成本非对称工作点，部署后的推理路径不需要阈值校准（在 Q 边际上进行普通的 argmax）。因此，我们没有将训练时内化作为奖励整形的独特属性，因为第 5 节评估的成本加权监督基线共享它；区分提议接口的是工作点是按结果指定的，以运营成本为单位而不是类级损失权重，并且学习到的评分表示为成本整形的动作价值边际，而不是 softmax 类概率评分。本文追求的单一、已验证的动机是将成本非对称性训练时内化到动作价值决策接口中：工作点嵌入在学习到的 Q 边际中，部署使用未调优的 argmax 规则而不是事后阈值。本贡献在匹配骨干网络、样本预算和推理协议下的按流独立同分布分类中，针对相同骨干网络的成本加权监督基线进行了评估。

本工作中使用的清洗后的 CICIoT2023 子集，以及其构建的先前基线 Hossain 等人 [13]，提供了带有类标签的按流数值特征向量，但不保留流标识符或时间顺序。因此，提议的方法被表述为视域 -1 上下文带机，这是针对可用数据结构和无状态边缘推理的适当决策接口。这种表述保留了 Q-learning 的成本非对称奖励信号、离策略重放和 Q 值学习机制，同时避免了不对应真实流量轨迹的人工下一状态转换。提议的指数奖励整形 (ERS) 机制在此视域 -1 成本非对称决策接口设置内设计和评估。

从这个角度看，本研究重新定义了 IDS，不再作为一个孤立的分类器，而是作为边缘智能系统内的成本敏感和风险感知决策模块。主要贡献是成本非对称动作价值决策接口的设计和验证：奖励信号明确编码非对称 IDS 风险，学习到的 Q 边际表示由此产生的动作价值偏好，部署的策略在边缘硬件上使用固定 argmax 推理，无需针对每次部署的阈值校准。本工作没有实现完整的 DaaS 平台或声称多步信用分配的优越性，而是验证了此类平台所需的决策原语，即在资源受限边缘执行下不需要部署时阈值校准的训练时成本感知推理路径。

章节片段
相关工作 强化学习 (RL) 已被广泛用于边缘智能系统，因其能够在动态和不确定环境中学习最小化长期成本的政策，特别是在资源管理、计算卸载、服务质量 (QoS) 维护和可靠性保障方面 [14], [15], [16]。然而，传统的基于期望的奖励最大化范式在安全和可靠性关键设置中表现出结构性局限性。
为解决这些

基于边缘的 IDS 架构 本研究提出的 IDS 部署在网络拓扑内的边缘设备上，设计为实时将每个传入流量记录分类为正常或异常。传统的集中式 IDS 架构要求将所有流量传输到中央服务器，导致高带宽消耗、增加的延迟和单点故障 (SPoF) [31] 漏洞。
相比之下，边缘设备实现了流量源头的现场检测，从而减少了

架构 本研究调查了各种量化后端在物联网环境中最大化轻量级 IDS 推理效率的适用性。通常，FBGEMM（Facebook 通用矩阵乘法）在高性能平台如服务器或相对强大的边缘设备（例如 Jetson Orin）上提供高吞吐量和稳定性能，这些设备具有足够的计算资源。然而，在低功耗基于 ARM 的设备如 Raspberry Pi 上，FBGEMM 要么不受支持

性能评估 Hossain 等人 [13] 提出的基线模型训练了 1500 个 epoch。提议的框架训练了 10,000 个 episode，在一个良性过采样流上，其 episode 顺序预采样为 9000 攻击和 1000 良性记录，无放回抽取并洗牌（算法 1）。清洗后的 CICIoT2023 分布严重偏向攻击多数，约 97.65% 攻击和 2.35% 良性，因此从训练池均匀采样将使代理暴露于大约 41 个攻击

结论 本研究提出了一种带有连续计数器的指数奖励整形 (ERS) 机制，用于成本非对称入侵检测，基于 Hossain 等人 [13] 的视域 -1 上下文带机构建。漏报攻击的非对称惩罚在训练期间将成本非对称 IDS 工作点直接内化到 Q 边际中，因此部署时的 argmax 推理不需要事后阈值调整。本工作没有实现完整的 DaaS 平台，而是验证了

CRediT 作者贡献声明 Bitchan Eom: 写作 – 初稿，可视化，验证，软件，项目管理，方法论，概念化。Eunchan Kim: 写作 – 审查与编辑，验证，监督，方法论，资金获取，概念化。

竞争利益声明 作者声明他们没有已知的竞争财务利益或个人关系，这些关系可能被认为影响了本论文中报告的工作。

致谢 本工作得到了信息通信技术规划与评估院 (IITP) 资助的韩国政府（科学技术信息通信部）grant 的支持（人工智能研究生院项目（汉阳大学），RS-2020-II201373）。

Bitchan Eom|Eunchan Kim
汉阳大学人工智能系，首尔 04763，大韩民国