《Sustainable Computing: Informatics and Systems》：NATE and T-NATE: Efficient transformers for IoT task offloading in edge–fog–cloud computing
编辑推荐：
研究人员提出了两种基于Transformer的深度Q学习（Deep Q-Learning, DQL）架构，用于精细粒度的节点选择：NATE（节点感知Transformer编码器，Node-Aware Transformer Encoder），利用自注意力机制（
研究人员提出了两种基于Transformer的深度Q学习（Deep Q-Learning, DQL）架构，用于精细粒度的节点选择：NATE（节点感知Transformer编码器，Node-Aware Transformer Encoder），利用自注意力机制（self-attention）捕获节点间资源相互依赖关系；T-NATE（任务与节点感知Transformer编码器，Task-and-Node-Aware Transformer Encoder），额外基于每个任务的属性调节决策。作为多目标基线，研究人员调整NSGA-II以进化多层感知机（MLP）策略，并表征可行延迟-能量-可靠性权衡的帕累托前沿（Pareto front）。研究人员在来自巴基斯坦的真实物联网任务轨迹（real IoT task trace）和一个合成工作负载（synthetic workload）上，对三种规模（8、20、50个节点）逐渐增大的拓扑评估了所有方法。注意力机制的架构优势呈现出规模依赖性：在8节点拓扑上，NATE和T-NATE在复合分数上与其对应的MLP基线匹配程度在1%以内；在50节点拓扑上，NATE相对MLP将复合分数降低43%，T-NATE相对T-MLP降低9.6%。T-NATE在所有规模上取得最佳复合分数，即使在50节点规模下也将任务丢弃率保持在0.01%以下。NSGA-II在50节点拓扑上未能产生可行解，但在8节点和20节点拓扑上生成了具有竞争力的帕累托前沿。完整的仿真框架、超参数搜索和训练策略已开源发布。
**论文解读**
**研究背景**
物联网（Internet of Things, IoT）已成为现代社会关键技术的基础，推动智慧城市、医疗和自主系统等领域的创新。到2025年，联网设备数量已达211亿，预计2030年全球设备数量接近500亿。这些设备产生海量数据，但受限于电池容量、计算能力和存储空间，难以处理实时传感器数据或计算密集型任务。传统方案将任务卸载至集中式云服务器，但网络延迟和带宽限制使其对实时应用（如智能医疗、自动驾驶、智能制造）效率低下。雾计算（fog computing）作为分布式计算范式，将存储、计算和数据管理推向网络边缘，减少延迟、功耗和流量。然而，雾计算中的任务卸载面临资源异构、动态工作负载、竞争性服务质量（Quality of Service, QoS）目标（延迟、能量、可靠性）需实时平衡的挑战。现有研究指出，静态启发式方法在动态环境中缺乏可扩展性和灵活性，性能随系统需求增加而下降。遗传算法（Genetic Algorithm, GA）等元启发式方法可处理多目标优化，但环境变化时需要重新执行，限制动态场景响应性。深度强化学习（Deep Reinforcement Learning, DRL）通过与环境持续交互学习自适应卸载策略，已在雾环境中降低延迟和能耗方面展现潜力，但现有方法在处理大规模异构节点和细粒度任务属性方面仍存在不足。
**研究内容**
为解决大规模IoT任务卸载中节点选择优化问题，研究人员提出了两种基于Transformer的深度Q学习（Deep Q-Learning, DQL）架构：NATE（节点感知Transformer编码器）和T-NATE（任务与节点感知Transformer编码器）。NATE利用自注意力机制捕获节点间资源（如CPU、缓存、带宽）的相互依赖关系；T-NATE在此基础上额外整合任务属性（如大小、截止时间、CPU周期需求）。研究人员在RayCloudSim仿真平台上集成真实世界数据集（来自巴基斯坦的IoT任务轨迹）与合成工作负载，构建了完整开源框架。以MLP策略和NSGA-II进化算法为基线，在三种拓扑（8、20、50节点）上对所有方法进行对比评估，分析延迟、能量、可靠性及复合分数的权衡。
**主要关键技术方法**
1. **Transformer注意力机制**：NATE和T-NATE编码器中的自注意力层用于动态学习节点间或节点-任务间的相关性，实现规模可扩展的特征表示。
2. **深度Q学习（DQL）训练框架**：基于ε-贪婪策略和回放缓冲区，使用MLP或Transformer策略网络输出节点选择的Q值，经梯度下降优化。
3. **多目标遗传算法（NSGA-II）**：作为基线方法，直接进化MLP策略权重，在动态环境中实时生成帕累托前沿。
4. **真实任务轨迹与合成工作负载**：使用来自巴基斯坦的IoT任务日志（含46个任务源）和随机生成的合成任务，覆盖20种配置。
**研究结果**
*Comparative results（对比结果）*
通过8独立运行的平均值和标准差对比所有方法。在8节点拓扑上，NATE和T-NATE的复合分数（延迟、能量、可靠性的加权组合）与对应MLP基线偏差在1%以内，表明注意力机制在小规模下无显著优势。在20节点拓扑上，NATE相对MLP降低复合分数15.2%，T-NATE相对T-MLP降低4.3%。在50节点拓扑上，NATE相对MLP降低43%，T-NATE相对T-MLP降低9.6%。T-NATE在全部规模上取得最佳复合分数，同时将任务丢弃率始终控制在0.01%以下。NSGA-II仅在8节点和20节点拓扑上生成可行帕累托前沿，在50节点拓扑上因搜索空间过大而失败。
*Qualitative offloading analysis（定性卸载分析）*
分析任务分配模式、资源利用率、延迟分布和功耗。基线策略（随机、贪婪）在能量-延迟权衡上较差。MLP策略随规模增大性能退化，而NATE和T-NATE通过注意力机制保持稳定。T-NATE能根据任务截止时间动态选择边缘或雾节点，避免云服务器过载。在50节点场景下，T-NATE的延迟分布更集中且均值更低。
**讨论与结论**
讨论部分指出，NATE和T-NATE的优势在节点数量增加时更为明显，验证了注意力机制在异构资源环境下的可扩展性。T-NATE的额外任务属性嵌入使其能更精确地匹配任务与节点。NSGA-II在小规模上竞争力强，但无法适应大规模动态场景。结论部分翻译如下：
这项工作通过系统的元启发式和深度强化学习方法研究，解决了分层边缘-雾-云计算环境中任务卸载的关键挑战。利用来自巴基斯坦的真实IoT任务轨迹，在RayCloudSim平台上构建了现实评估框架，并公开促进可重复研究。提出的NATE和T-NATE架构证明了，在考虑大规模异构节点与任务属性时，基于Transformer的注意力机制能有效提升卸载决策质量。T-NATE在全部测试规模上实现最佳复合分数，同时保持极低丢弃率。然而，注意力机制的计算开销在实时部署中需进一步优化。未来方向包括：在真实边缘设备上验证延迟预算，探索多智能体协同卸载，以及将方法扩展到任务依赖场景。
论文发表在《Sustainable Computing: Informatics and Systems》。
