在利用无人机技术的智能电网网络中实现共同的安全与能源优化

《Frontiers in Physics》：Joint security and energy optimization in UAV-enabled smart grid networks

　　摘要

引言：近年来，越来越多的物联网设备（IoT设备）被部署在电网中，用于监测双向信息和电力传输，从而将这些电网转变为智能电网。物联网设备在智能电网中的密集部署要求通信解决方案既能够防止窃听，又能够实现能源效率，以确保其可持续运行。

方法：本文提出了一种基于无人机（UAV）和可重构智能表面（RIS）的辅助框架，在智能电网中通过联合优化UAV的飞行路径、波束成形和RIS的相位移动来最大化最坏情况下的保密性能和能源效率。开发了一种名为TAMRRTD3的双注意力驱动深度强化学习算法，该算法具有基于注意力的状态表示和考虑遗憾的奖励设计，以提高学习精度和收敛速度。

结果与讨论：仿真结果表明，所提出的算法在收敛速度和保密性能方面优于基准算法。

1 引言

近年来，物联网（IoT）节点在电网中的部署范围不断扩大，用于监控分布式能源源、传输、转换、分配和消耗情况。具体来说，通过智能电表等设备，电网基础设施内部可以双向流动运营和实时能耗数据，从而将传统电网转变为智能电网（SG）。另一方面，无人机（UAV）被广泛用作空中移动基站（BS）、中继节点，为地面设备提供通信支持，或作为数据收集器来扩大物联网驱动的智能电网的覆盖范围。由于UAV能够建立视距（LoS）链接，它们可以提高无线网络的容量和覆盖范围。因此，UAV已成为5G无线通信系统的重要组成部分。然而，UAV通信的LoS链接容易受到障碍物（如城市中的密集建筑物）的影响。障碍物的存在显然会降低UAV通信的可靠性和通信容量。此外，无线通道的开放性使得信息容易被非法设备窃听，从而导致不安全的通信。因此，在建筑物密集的区域为合法设备提供安全通信是一个实际实施中的挑战。

随着材料和硬件技术的进步，可重构智能表面（RIS）作为一种关键推进器出现，通过精确编程反射单元来构建新的无线环境。在LoS链接被阻断的情况下，RIS可以为UAV创造非视距（NLoS）链接，从而通过编程控制反射单元为UAV提供可靠的反射链接。通过控制信号的传播方向和强度，RIS可以防止信号泄漏到未经授权的区域。物理层安全（PLS）技术也可以通过增强合法用户的容量来为UAV通信提供安全保障。一些研究人员提出了基于PLS技术的算法，以提高各种UAV支持通信系统的保密速率。提出了一种用于UAV地面通信的PLS通信方案，通过轨迹和功率调整设计来最大化平均保密速率。然后，作者联合优化了UAV的路径和固定合法发射机的功率，以最大化UAV与地面通信系统之间的平均保密速率。该优化问题通过块坐标下降（BCD）和连续凸逼近（SCA）算法得到解决。考虑到窃听者位置的不确定性和最大可容忍的信噪比（SNR）泄漏，提出了一条具有最大保密能源效率的最优路径。通过设计具有适当发射功率的最优UAV飞行路径来最大化平均保密速率。

[13] 使用移动UAV作为动态干扰源，通过联合优化UAV飞行路径和干扰能力，在有限时间内最大化地面源到目的地的平均保密速率。考虑到窃听者位置的信息不完全，提出了一种基于UAV移动性的PLS增强方案，以最大化接收器的最小平均保密速率。设计UAV的飞行路径以满足动态低延迟的实际通信场景。由于RIS可以有效优化信号传播路径并避免窃听风险区域，因此提出了一种基于另一种优化技术的算法，通过联合优化UAV飞行路径、RIS的被动波束成形和发射功率来最大化最坏情况下的平均保密速率。在主动RIS辅助的UAV系统中，尽管受到抖动的影响，但仍提高了能源效率。通过协作优化功率分配、RIS相位移动和UAV飞行路径，最大化了平均保密速率。

尽管这些传统的凸优化方法为UAV辅助系统提供了最优的安全速率轨迹，但在复杂动态环境中它们表现出次优的适应性，并且过分依赖高精度的信道状态信息。与传统优化方法不同，深度强化学习（DRL）方法能够适应复杂和动态的通信环境，为解决UAV支持系统中的动态优化问题提供了新的解决方案。提出了一种结合Q学习和神经网络的强化学习（RL）方法，以提高RIS辅助UAV网络的下行容量。此外，提出了一种无模型的RL算法，以改善复杂环境中UAV的上行容量。设计了一种分布式DRL算法，以降低多UAV协作系统的总能耗。提出了一种基于双深度Q网络（DDQN）的算法，以提高RIS辅助全双工系统的容量和系统能源效率。通过结合Dueling Deep Q-Network（Dueling DQN）和优先经验回放（PER）算法，显著提高了系统能源效率。与上述方法不同，[25] 提出了一种结合决策后状态（PDS）和PER的DRL框架，以优化窃听者的波束成形，从而提高系统保密速率。当扩展到蜂窝连接的UAV场景时，PDS-DRL框架不仅有助于生成避开潜在威胁的最优轨迹，还能在受到恶意干扰源影响的环境中确保通信连续性。在此基础上，将PDS方法与多智能体双延迟深度确定性策略梯度（MATD3）算法相结合，可以在严格遵守通信连续性约束的同时最小化任务执行时间。

在UAV配备有感知能力的场景中，迁移学习驱动的DRL算法有效地解决了地面IoT设备临时中断的情况。通过协调UAV和多模态感知实体之间的协作，这种方法为紧急救援操作生成了稳健且高效的轨迹规划策略。在RIS辅助的UAV非正交多址（NOMA）网络中，[26] 设计了一种基于深度确定性策略梯度（DDPG）的算法来增强下行安全容量。[27] 构建了一个基于Twin TD3的框架，以改善复杂RIS-UAV支持的NOMA网络中的安全能源效率（SEE）。考虑到飞行窃听者的存在，[28] 使用了Dinkelbach和Taylor展开方法以及基于Proximal Policy Optimization（PPO）的算法，来改善具有多个智能反射表面（IRS）的UAV支持的多访问边缘计算（MEC）网络中的安全容量。设计了一种基于Twin DDPG（TDDPG）的算法，在非理想信道状态下最大化授权用户的保密总速率，并具有更快的收敛速度。[29] 同时，开发了一种Twin-TD3（TTD3）算法来提高系统的SEE。[30] 开发了一种基于双PPO的算法来最大化合法用户的SEE。[31] 设计了一种双层TTD3算法，以最大化UAV-RIS支持的卫星网络中卫星到UAV传输率和合法地面用户的安全率的加权和。[33] 设计了一个带有双DDPG网络的DRL框架，以联合优化主动和被动波束成形来提高安全速率。

当通信环境变得更加复杂和动态时，状态和动作空间的高维性质会导致算法复杂性的增加。[34] 使用了具有演员-评论家框架和PER的自注意力机制来增强离散问题上的决策能力。[35] 将多头注意力（MHA）和PER集成到DDPG框架中，以提高DRL算法的执行效率。表1表明，虽然各种DRL方法已被用于提高RIS-UAV无线网络中的安全容量或SEE，但双架构DRL框架在解耦和联合优化RIS波束成形和UAV飞行路径规划的高维任务方面表现出更好的效率。来自其他领域复杂马尔可夫决策过程（MDPs）的证据表明，注意力机制在提取关键特征和加速DRL算法收敛方面非常有效。

表1 显示了各种DRL方法在RIS-UAV无线网络中提高安全容量或SEE的应用情况。双架构DRL框架在解耦和联合优化RIS波束成形和UAV飞行路径规划的高维任务方面表现出更高的效率。证据表明，注意力机制在提取关键特征和加速DRL算法收敛方面非常有效。

本文的重点是在SG环境中为合法IoT设备提供安全通信，其中UAV作为移动基站，RIS被战略性地部署以通过建立虚拟NLoS链接来克服建筑物阻挡。为了显著提高SEE，我们将注意力机制直接集成到评论家网络中，建立在双代理解耦架构的基础上。这种设计使双代理能够适应性地识别和放大关键特征，特别是信道状态信息（CSI）和实时UAV位置，从而优化系统性能。我们制定了一个SEE最大化问题。为了解决优化变量的高维性和强耦合问题，我们提出了带有近似遗憾奖励TD3的双注意力机制。利用双代理，我们的方法联合优化了UAV和RIS的主动和被动波束成形以及UAV飞行路径，在最坏的信道条件下。主要贡献如下：

我们为智能电网中的UAV-RIS支持IoT网络建立了一个长期SEE最大化框架。这个复杂的优化问题被表述为一个MDP。提出了一个双代理架构，以同时探索波束成形策略和轨迹。我们提出了新颖的TAMRRTD3算法来解决所制定的MDP。具体来说，将附加注意力机制层集成到双TD3网络的隐藏层中，以有效捕获不同输入状态之间的依赖性。将基于近似遗憾的奖励机制纳入所有评论家网络中，以稳定训练并收敛到优化策略。我们实现了主动/被动波束成形和UAV飞行路径的联合优化。仿真结果表明，与基准算法相比，TAMRRTD3在SEE方面取得了显著改进，并且收敛速度更快。此外，所提出的算法在高斯分布场景下也表现良好。

2 系统模型

本文的系统模型如图1所示。本文使用的主要符号在表2中总结。UAV配备了L元素均匀线性阵列（ULA），并通过毫米波频道与多个合法IoT设备进行通信。[36] 为了解决高建筑物引起的信号阻塞问题，部署了由M=m2M=m2均匀平面阵列（UPA）反射元素组成的RIS。RIS通过智能反射建立了可靠的NLoS虚拟链接，从而显著增加了阴影区域的信号强度并扩展了有效覆盖范围。ULA的指向向量表示为aL(φ)=[1,ej2πλcdsin(φ),…,ej2πλcd(L?1)sin(φ)]HaLφ=1,ej2πλcd?sinφ,…,ej2πλcdL?1sinφH，其中φ是出发方位角（AoD），?AoDi,l?i,lAoD（?AoDl）?lAoD，dd是天线间距，λc是载波波长。UPA的 steering vector 表示为 aP(φ,?)=[1,…,e^(j2πλcd(Psin(φ)sin(?)+qcos(φ)sin(?))]H，其中 0≤p,q≤m?1，φ(?) 是方位角（AoD）。图 1 显示了系统模型。表 2 列出了各种符号的描述。

| 符号 | 描述 |
|------------------|------------------------------------------------------|
| M | RIS 元素的数量 |
| aL(φ) | 均匀线性阵列（ULA）的 steering vector |
| φ | 方位角 |
| aP(φ,?) | 均匀平面阵列（UPA）的 steering vector |
| φ(?) | 到达角（AoA） |
| AA | Eavesdroppers |
| TT | 合法设备 |
| V | UAV 的飞行时间 |
| N | 时间槽的数量 |
| δn | 每个时间槽的长度 |
| w | 任何时间槽 |
| R | RIS 的位置 |
| wi[n] | 时间槽 n 时合法设备和窃听器的位置 |
| BA | UAV 飞行的区域边界 |
| H | UAV 的高度 |
| qU[n] | 时间槽 n 时 UAV 的坐标 |
| Dmax | UAV 在时间槽 n 内的最大飞行距离 |
| v | 时间槽 n 时 UAV 的速度 |
| Ep[n] | UAV 的推进能量消耗 |
| hU,v | 从 UAV 到合法设备的信道增益 |
| hU,a | 从 UAV 到窃听器的信道增益 |
| hR,v | 从 RIS 到设备的信道增益 |
| hR,a | 从 RIS 到窃听器的信道增益 |
| Ψ | RIS 的相位偏移矩阵 |
| HC | 从 UAV 到接收机的信道增益 |
| Gn | UAV 从第 i 个接收机接收到的信号 |
| ν | 噪声 |
| Rea,v | 第 i 个设备可实现的数据速率 |
| Rsecv | 从 UAV 到第 v 个设备的 secrecy rate |
| Pmax | UAV 的最大发射功率 |
| Qθ1, Qθ2 | 批判家和目标网络的参数 |
| π | π |
| π′ | π′ |
| WW | 执行者和目标网络的参数 |
| Cn | UAV 预测的 CSI |
| s | 状态 |
| sn | 经验元组 |
| Nb | 批量大小 |
| α | 关联权重 |
| rr | 奖励 |
| r | 经验值 |
|Nb | 批量大小 |
| δn | 每个时间槽的长度 |
| w | RIS 的位置 |
| wi[n] | 时间槽 n 时合法设备和窃听器的位置 |
| BA | UAV 飞行的区域边界 |
| H | UAV 的高度 |
| qU[n] | 时间槽 n 时 UAV 的坐标 |
| Dmax | UAV 在时间槽 n 内的最大飞行距离 |
| v | 时间槽 n 时 UAV 的速度 |
| Ep[n] | UAV 的推进能量消耗 |
| hU,v | 从 UAV 到合法设备的信道增益 |
| hU,a | 从 UAV 到窃听器的信道增益 |
| hR,v | 从 RIS 到设备的信道增益 |
| hR,a | 从 RIS 到窃听器的信道增益 |
| Ψ | RIS 的相位偏移矩阵 |
| HC | 从 UAV 到接收机的信道增益 |
| Gn | UAV 从第 i 个接收机接收到的信号 |
| ν | 噪声 |
| Rea,v | 第 i 个设备可实现的数据速率 |
| Rsecv | 从 UAV 到第 v 个设备的 secrecy rate |
| Pmax | UAV 的最大发射功率 |
| Qθ1, Qθ2 | 批判家和目标网络的参数 |
| π | π |
| π′ | π′ |
| WW | 执行者和目标网络的参数 |
| Cn | UAV 预测的 CSI |
| s | 状态 |
| sn | 经验元组 |
| Nb | 批量大小 |
| α | 关联权重 |
| rr | 奖励 |
| r | 经验值 |
| Nr | 批量大小 |
| δn | 每个时间槽的长度 |
| w | RIS 的位置 |
| wi[n] | 时间槽 n 时合法设备和窃听器的位置 |
| BA | UAV 飞行的区域边界 |
| H | UAV 的高度 |
| qU[n] | 时间槽 n 时 UAV 的坐标 |
| Dmax | UAV 在时间槽 n 内的最大飞行距离 |
| v | 时间槽 n 时 UAV 的速度 |
| Ep[n] | UAV 的推进能量消耗 |
| hU,v | 从 UAV 到合法设备的信道增益 |
| hU,a | 从 UAV 到窃听器的信道增益 |
| hR,v | 从 RIS 到设备的信道增益 |
| hR,a | 从 RIS 到窃听器的信道增益 |
| Ψ | RIS 的相位偏移矩阵 |
| HC | 从 UAV 到接收机的信道增益 |
| Gn | UAV 从第 i 个接收机接收到的信号 |
| ν | 噪声 |
| Rea,v | 第 i 个设备可实现的数据速率 |
| Rsecv | 从 UAV 到第 v 个设备的 secrecy rate |
| Pmax | UAV 的最大发射功率 |
| Qθ1, Qθ2 | 批判家和目标网络的参数 |
| π | π |
| π′ | π′ |
| WW | 执行者和目标网络的参数 |
| Cn | UAV 预测的 CSI |
| s | 状态 |
| sn | 经验元组 |
| Nb | 批量大小 |
| α | 关联权重 |
| rr | 奖励 |
| r | 经验值 |
| Nr | 批量大小 |

为了最小化硬件成本和功耗，假设 UAV 以全向模式运行，主要通过优化 RIS 的反射系数来实现信号聚焦。存在窃听器，表示为 A={1,2,…,A}，以及具有单个天线的合法设备，表示为 V={1,2,…,V}。UAV 的飞行时间 T=Nδn 被划分为 NN 个时间槽，其中 δn 是每个时间槽的长度。在时间槽 nn 时，RIS 的位置为 wR=(xR,yR,zR)。合法设备和窃听器的位置表示为 wi[n]=(xi[n],yi[n],zi[n])T。UAV 在高度 HU 下在区域 BA 内飞行，时间槽 n 时 UAV 的坐标为 qU[n]=(xU[n],yU[n],HU)。UAV 必须满足以下约束条件，如方程 1 所示：

| |xU[n]| ≤ B, | n=1,…,N |
| |yU[n]| ≤ B, | nin=1,…,N |
| √(qU[n+1]?qU[n]∥ ≤ Dmax, | nin=1,…,N |
| | |
| (1) | |
| | |

时间槽 n 时 UAV 的速度 v 由方程 2 给出：

vU[n] = √(qU[n+1]?qU[n]∥/δn

UAV 的推进能量消耗 Ep[n] 根据方程 3 计算：

Ep[n] ≈ δn(P0+3P0vU[n]2+1/2d0ρsArvU[n]) + δnPi(1+√(1+vU[n])?/4v2?vU[n]2/2)

这里，P0 和 Pi 分别是 UAV 悬停时的叶片轮廓功率和诱导功率。U2tip 是旋翼叶片尖端速度，v0 是悬停时的平均旋翼诱导速度，d0 是机身阻力系数，ss 是旋翼刚度，ρ 是空气密度，Ar 是旋翼盘面积。

hU,v、hU,a、hR,v、hR,a 和 hUR 分别表示从 UAV 到第 i 个合法设备、窃听器、RIS 的信道增益。信道增益根据方程 4 计算：

hb,r = √(β0d?cb(r),rb,r) / (1+K1+hLOS+√1/K1+hNLOS)

其中 β0 表示参考距离 1 米时的功率增益，dbr 表示 UAV、RIS 和 i 之间的距离，?i∈V∪A。cb,r 表示链路的路径损耗指数，K1 是链路的 Rician K 因子。hNLOS≈CN(0,1)，∣hLOS∣=1 表示对数概率分布。

hU,R = √(β0d?cU,R) / (K2+k1+hLOS+1)，hU,R = β0dU,R?cU,R/K2+k2+hNLOS。UAV 和 RIS 之间的距离 dU,R 和路径损耗指数 cU,R 分别由方程 5 给出。

RIS 的相位偏移矩阵 Ψ 和波束成形矩阵 HC 分别表示为：

HC = diag(β1e^θ1,β2e^θ2,…,βMe^θM)，m∈{1,2,…,M}，θm∈[0,2π)。让相位偏移为 θm∈[0,2π]，幅度反射系数为 βm∈[0,1]。为了简化，βm 设为 1。RIS 的波束成形矩阵可以表示为向量 Ψ=vec(θ)，因此从 UAV 到接收机的信道增益表示为 HC={hU,i+Ψ}，对于所有 i∈V∪A。UAV 从第 i 个接收机接收到的信号表示为方程 6。信号的的平均发射功率归一化为 1，如方程 7 所示。

y_i = (hU,i+Ψ)G + ni，对于所有 i∈V∪A，E[|sv|2]=1，表示信号。G∈CL×V，是 UAV 的波束成形矩阵。ni 是噪声，表示为 ni～N(0,σn)，对于所有 i∈V∪A。g_v 是 G 的第 v 行。然后，第 v 个设备可实现的数据速率根据方程 8 计算：

Ruv[n] = log?(1+|hU,v+Ψ|2/√(∑v′∈V|hU,v+Ψ|2+n2)

假设第 v 个窃听器截获了第 v 个合法设备的信号，可行速率根据方程 9 计算：

Rea,v[n] = log?(1+|hU,a+Ψ|2/√(∑v′∈V|hU,a+Ψ|2+n2)

从 UAV 到第 v 个设备的 secrecy rate 根据方程 10 表示：

Rsecv[n] = [Ruv[n]?max_{a∈V}Rea,v[n]]+Rvsec,n

最后，系统的秘密效率 SEE 根据方程 11 计算：

SEE[n] = ∑_{v=1}^N Rsecv[n]Ep[n]

本文的目的是通过联合优化主动波束成形矩阵 G、RIS 的被动波束成形矩阵 θ 和 UAV 的轨迹 Q 来最大化合法设备与 UAV 之间的长期秘密效率 SEE。优化问题如方程 12 所示：

max_{G,θ,Q} ∑_{n=1}^N SEE[n] s.t.

约束条件 C1 指定了 UAV 轨迹必须满足的条件。约束条件 C2 指定了安全通信速率超过阈值的概率不得小于 1?ρ_v。约束条件 C4 指定了 RIS 的相位偏移必须满足的条件。C1、C2 和 C4 是非凸的。约束条件 C3 是 UAV 波束成形必须满足的功率条件，涉及矩阵计算的非线性操作。Pmax 是 UAV 的最大发射功率。解决这种概率约束的非凸优化问题具有挑战性。我们在下一节提出了一种基于 DRL 的解决方案。

4 双重注意力机制近似后悔奖励 TD3 算法

4.1 注意力机制
注意力机制用于通过加法函数计算查询矩阵和键矩阵之间的关联，以获得注意力权重 [37]。首先计算查询和键的相似性分数。这些分数使用 softmax 函数转换为权重。将这些值与权重相加，生成包含上下文信息的表示。

给定一个查询向量 q 和一组键值对 {(k1,v1),(k2,v2),…,(kn,vn)，查询和键根据共同空间映射，如方程 13 所示：

q′ = W_q×k

然后将 q′ 与 k′ 结合，输出通过非线性激活函数 tanh 增强表达能力，如方程 14 所示：

e_ij = v^T tanh(q′+k′)

使用方程 14 计算得到的融合向量通过 softmax 函数转换为注意力权重 α_i，表示分配给每个 vi 的重要性程度，如方程 15 所示：

α_i = exp(e_ij) / ∑_{j=1}^N e_j

最后计算最终向量 c：

c = ∑_{i=1}^N α_i

4.2 近似后悔奖励
由于 TD3 网络中有两个批评家网络 Q_critic1 和 Q_critic2，在时间槽 nn 时，使用近似后悔值 ?_n 表示两个批评家网络对相同动作 an 的评估之间的差异，可以根据方程 17 计算：

?_n = Q_critic1(sn,an) ? Q_critic2(sn,an)

如果 (sn,an) 的近似后悔值较大，则批评家网络对 Q 值的估计存在不确定性。因此，应相应调整所选批评家网络的更新方法，以减少后续决策过程中的不确定性。近似后悔奖励可以根据方程 18 设计：

R_n = ζ[Q_critic1(sn,an) ? Q_critic2(sn,an)]

然后可以使用方程 19 计算损失函数：

L_critic_selected = L_critic1 + L_critic2 + R_n

4.3 双重注意力机制近似后悔奖励 TD3 算法
方程 12 的优化问题等价于一个马尔可夫决策过程。然而，直接解决这个问题具有挑战性，因为 UAV 轨迹与波束成形矩阵 GG 和 θ 高度相关。为了解决这个问题，我们提出了一个结合了近似后悔奖励 TD3（TAMRRTD3）算法的双重注意力机制框架。如图 2 所示，该算法采用了一个双并行代理架构，包括 AMRRTD3-Agent1 和 AMRRTD3-Agent2。前者优化波束成形矩阵 GG 和 θ，后者处理 UAV 轨迹规划。这些模块并行操作以协作解决高维耦合问题。

图 2 TAMRRTD3 的框架
每个 AMRRTD3 网络包含六个网络。具体来说，AMRRTD3-Agent1 包含一个执行者（策略）网络 ?_1 和其对应的目標网络 ?_1′，带有参数 Q1θ_1 和 Q1θ_2 的批评家网络，以及它们的相应目标批评家网络 Q1θ_1′ 和 Q1θ_2′。同样，AMRRTD3-Agent2 也采用相同的架构，包含一个执行者（策略）网络 ?_2 和一个目标执行者网络 ?_2′，两个带有参数 Q2θ_1 和 Q2θ_2 的注意力增强批评家网络，以及两个带有参数 Q2θ_1′ 和 Q2θ_2′ 的目标批评家网络。批评家网络内注意力层的集成使代理能够有效提取不同输入状态之间的复杂依赖性。

在每个执行者-批评家框架中，环境的当前状态 s 输入到执行者（策略）网络 ?，并选择生成的行动 a=π?(s)+ε，其中 ε 是引入的噪声（具体来说是高斯噪声）以增强探索性。当执行所选行动时，代理获得奖励 r。环境过渡到新状态 s′。数据 (s,a,r,s′) 存储在经验池中，随机选择一批经验样本进行训练。

如图 2 所示，我们提出的框架使用两个专门的 AMRRTD3 代理。在这个并行设置中，代理 1 使用 CSI 生成接近最优的波束成形矩阵 G 和相位偏移 θ。代理 2 处理本地环境信息 W 以确定高质量轨迹 Q。在每个时间槽 n，两个代理分别根据自己的策略 π_1 和 π_2 选择行动 a_1,n 和 a_2,n。环境过渡到新状态 s_1,n+1 和 s_2,n+1，并分别产生奖励 r_1,n 和 r_2,n。相关经验存储在相应的经验池中。在训练阶段，从缓冲区采样小批量数据来更新网络。双重批评家网络估计行动值以最小化贝尔曼误差，而执行者网络通过策略梯度进行优化。这个迭代过程继续进行，直到策略分别朝 π?_1 和 π?_2在训练过程中，从经验池中选择了一组经验B={(s1,n,s2,n,a1,n,a2,n,rn,s1,n+1,s2,n),i=1,...,Nb}进行训练，其中Nb表示批量大小。在计算目标Q值时，使用目标演员网络π?′i来生成下一个状态的动作，具体公式如下：ai,n+1=π?′i(si,n+1)+εi，i=1,2。目标Q值是通过比较Qiθ′1和Qiθ′两个较小的值来计算的，公式为y=r+γ?min(Qiθ′1(si,n+1,ai,n+1),Qiθ′2(si,n+1,ai,n+1))，i=1,2。γ是一个折扣因子，用于限制Q值的估计，防止过高估计。近似遗憾奖励（ARR）ˉRn是根据公式17计算的。如果ˉRn较小，Q网络会通过最小化均方误差损失函数来更新参数，从而更准确地评估动作的质量。两个网络的均方误差损失分别基于公式27和28计算。如果ˉRn较大，则Q值较低的网络会通过最小化均方误差来更新参数。

TAMRRTD3算法的训练过程如下：
表3：TAMRRTD3算法参数
输入：环境、演员网络参数、批评家网络参数、目标网络参数、噪声和经验池
输出：双AMRRTD3网络的参数

1. 初始化代理1和代理2的相应网络参数Q1θ1、Q1θ2、Q1θ′1、Q1θ′2、?1、?1′、Q2θ1、Q2θ′1、Q2θ′2、?2、?2′
2. 对于第1个训练周期（Nep=1, 2, …, Nep），执行以下操作：
3. 重置RIS的相移矩阵以及无人机（UAV）、合法设备和窃听器的位置
4. 对于每个时间步（step=1, 2, …, Nstep），执行以下操作：
5. 观察环境以获得状态s1,n和s2,n
6. 选择动作a1,n和a2,n；获得rn和s1,n+1以及s2,n+1
7. 将(s1,n,a1,n,r1,n,s1,n+1)和(s2,n,a2,n,r2,n,s2,n+1)存储到各自的经验池中
8. 从经验池中抽取小批量数据来更新Qiθ1、Qiθ2、?i（i∈{1,2}）
9. 结束当前循环
10. 完成一个训练周期
11. 重复步骤2至10，直到训练结束

在TAMRRTD3算法的初始阶段，需要初始化双AMRRTD3网络参数并配置相应的优化器，包括创建固定容量的经验缓冲区和设置动作噪声生成器（例如高斯噪声）以增强探索能力。在每个训练周期开始时，环境会重置RIS的相移矩阵、无人机的位置、合法用户的位置和窃听器的位置，并获取初始状态。在时间步循环中，代理选择动作，并在动作上叠加噪声来执行，然后根据执行的动作接收奖励和下一个状态信息。随后，这些信息会被存储到经验池中。这个过程会持续进行，直到经验池容量满为止。训练过程会一直持续到所有训练周期结束。

5. 仿真结果表明，TAMRRTD3算法表现出色。根据文献[29]中的参数设置，仿真场景的大小为（50米×50米×50米），合法设备的初始位置分别为（25米×25米×0米）和（4米×47米×0米），无人机的初始位置为（0米×25米×50米），RIS和窃听器的位置分别为（0米×50米×12.5米）和（47米×?4米×0米）。其他参数包括Dmax=0.25米、δn=0.1毫秒、Pmax=30分贝、M=4、L=4、V=2、A=1以及β0=?30分贝。各链接的路径损耗系数分别为cU,v=3.5、cR,v=2.8和cUR=2.2。无人机和TAMRRTD3算法的能耗参数以及超参数在表4和表5中总结。

表4：TAMRRTD3算法的参数
表5：TAMRRTD3算法的超参数

基线算法包括：
- 双TDPG算法用于优化主动波束形成矩阵GG、被动波束形成矩阵θ和无人机飞行轨迹QQ
- 双TD3算法也用于优化这些参数

图3和图4展示了所提出算法与基线方法相比的收敛性能和安全容量。图3中的全面消融研究表明，TAMTD3通过有效的关键状态特征提取显著提高了奖励，优于标准TDTD3。在此基础上，通过集成ARR机制进一步减少了Q值的过高估计，使训练曲线更加平滑，并确保了TAMRRTD3方法的稳定性。TAMRRT3在收敛速度和最终奖励方面都表现更优。图4显示，TAMRRTD3在所有评估算法中具有最高的安全容量。

图5a和图5b分别比较了不同算法在有能量惩罚（EP）和无能量惩罚情况下的平均秘密率（SSR）和平均 Secret Exposure (SEE)性能。图5a表明，引入EP后，TAMRRTD3（EP）的的平均SSR得到了显著提升。图5b显示，TAMRRTD3（EP）在平均SEE方面也优于TAMRRTD3。图8比较了在不同高斯分布（GD）条件下，不同算法的平均SSR和SEE。无论是否引入EP，TAMRRTD3算法在GD条件下都能显示出较高的平均SSR。此外，图8b还显示，TAMRRTD3（EP）在150个周期后的平均SEE稳定性更高。

6. 我们研究了在RIS辅助的无人机网络中，如何在CSI不完美和最坏信道条件下实现安全通信，同时最大化保密能量效率（SEE）。我们提出了TAMRRTD3算法，该算法结合了加性注意力机制和基于近似遗憾的奖励机制。利用双代理架构，该算法同时优化了无人机的波束形成和飞行轨迹。注意力机制有助于在高维状态空间中进行动态特征提取，而基于遗憾的方法确保了Q值的稳定估计。大量仿真表明，TAMRRT3在收敛速度、容量和SEE方面均优于基线算法TDDPG和TDTD3。