数字孪生网络中的计算激励与数据卸载：基于契约理论与多智能体深度强化学习的方法

《Future Internet》：Computing Incentive and Data Offloading in Digital Twin Networks: A Contract Theory and Multi-Agent Deep Reinforcement Learning Approach

　　

摘要

在数字孪生网络中，有效的边缘数据处理对于满足数字孪生模型的实时性要求至关重要。然而，边缘服务器具有自身利益考量且计算资源有限。虚拟内容运营商无法准确了解这些服务器的实际计算能力，从而导致其不愿参与以及信息不对称问题。为解决这些问题，本文提出了一种基于契约学习的整合方法，用于计算激励机制并实现数据卸载。该方法设计了一种二维的计算-奖励契约激励机制，以激励边缘服务器为数据预处理提供计算资源，同时考虑了边缘服务器类型的连续分布和离散分布情况。之后，边缘服务器将处理结果上传给虚拟内容运营商，以便进行数字孪生模型构建、同步等操作。基于个体理性和激励相容性约束，通过分析方法得出最优的激励奖励和计算资源分配策略，从而最大化虚拟内容运营商的效用。随后，基于已签订的契约，本文开发了一种多智能体双深度Q网络算法，用于共同优化二进制数据卸载决策、传输带宽和传输功率，以实现系统延迟的最小化。该算法能够在动态网络环境中学习适应性策略，并避免Q值过高估计的问题。数值实验结果表明，所提出的方法在计算激励和数据卸载方面提升了系统性能。