基于深度学习的动态时分ISAC波束成形技术在车辆网络中的应用 Lim Junseok 和 So Jaewoo

《Sensors》：Deep Learning-Based Dynamic Time Division ISAC Beamforming for Vehicular Networks Junseok Lim and Jaewoo So

　　摘要 集成传感与通信（ISAC）是车辆网络中一项具有前景的关键技术，因为它允许路边单元在同一频谱和硬件平台上同时支持数据传输和类似雷达的传感功能。在传统的时分ISAC系统中，每个帧被划分为具有固定比例的传感阶段和通信阶段，这决定了传感精度与通信吞吐量之间的权衡。然而，在高移动性的车辆环境中，由于信道和车辆间干扰的变化，固定的传感-通信划分往往不是最优的。在本文中，我们提出了一种动态的传感-通信时分和ISAC波束成形方案，该方案在满足最小有效通信总速率的同时，最小化了Cramér-Rao下界。我们进一步开发了一个基于近端策略优化的深度强化学习框架，以找到最优的时分比例和波束成形向量。仿真结果表明，所提出的动态时分波束成形方案在传感精度和通信总速率方面显著优于传统的固定时分波束成形方案。

1. 引言
智能交通系统和自动驾驶技术的快速发展导致车辆与网络之间以及车辆之间的无线流量显著增加。因此，即使在高度动态的无线环境中，车对一切（V2X）技术也需要在有限的频谱资源内同时提供高数据速率服务和准确的情境感知[1,2,3]。最近，集成传感与通信（ISAC）技术作为一种能够在同一系统中实现无线通信和传感的解决方案而受到了广泛关注。ISAC在同一频谱和硬件平台上执行类似雷达的传感和数据传输，从而提高了频谱效率，同时降低了硬件成本和系统复杂性[4,5,6]。之前的ISAC研究大致可以分为时分ISAC（TD-ISAC）、基于资源分配的ISAC和以波束成形为导向的ISAC三类。

许多研究集中在TD-ISAC系统上，这些系统将传感和通信分为不同的时间间隔[7,8]。特别是TD-ISAC因其能够在时间域分离传感和通信阶段来应对全双工硬件设计和干扰抑制等挑战而受到相当多的关注[9,10]。因此，TD-ISAC通常被视为实现ISAC的实际第一步。文献[7]的作者提出了一个用于连接自动化车辆的TD-ISAC系统，他们考虑了各种传感和通信时间配置，并评估了在不同传感-通信时间比例下的性能。文献[11]研究了TD-ISAC系统中的时间分配问题，并数学分析了给定固定时间间隔内雷达检测精度与可实现数据速率之间的关系。文献[12]专注于设计具有缓冲区的基站的单输入单输出（SISO）场景下的TD-ISAC系统的跨层调度策略，他们使用排队模型推导了通信性能，并假设雷达检测精度由分配的时间资源决定。在TD-ISAC系统中，传感和通信之间的时间比例决定了这两种功能之间的权衡。在高移动性的车辆环境中，根据信道变化动态调整传感-通信时间比例变得越来越重要。此外，路边单元（RSU）应确定用于传感和通信的波束成形矩阵[13]。然而，大多数之前的TD-ISAC研究都考虑了预定的或枚举的传感/通信时间划分，然后在这种固定比例下评估性能。尽管这些研究提供了关于传感-通信权衡的有用见解，但它们并没有根据信道和移动性变化动态优化时间划分。

一些研究解决了ISAC系统中的时间、频率和功率分配问题[14,15,16]。文献[17]分析了频分ISAC网络中传感和通信之间的性能权衡，其中为传感和数据传输分配了不同的频率资源。特别是，他们数学推导了在给定发射功率和带宽预算下传感的检测概率和通信的覆盖概率。文献[18,19,20,21]研究了联合时间-频率资源分配。具体来说，文献[18,19,20]提出了最小化延迟和多普勒估计的Cramér-Rao下界（CRLB）的资源优化设计，而文献[21]则专注于抑制延迟多普勒旁瓣。文献[22]旨在同时优化单站正交频分复用（OFDM）-ISAC系统的资源和功率分配，同时满足传感信噪比（SNR）和通信总速率要求。然而，尽管这些研究动态分配了时间-频率资源，但它们没有考虑传感和数据传输的波束成形矩阵。

ISAC波束成形研究主要集中在设计用于同时传感和通信的波束上，其中波束成形矩阵决定了传感和通信性能之间的权衡[23,24]。大部分ISAC波束成形文献考虑了同时传感-通信传输，优化重点在于波束模式、发射协方差矩阵或通信预编码器，而不是动态的帧级时分。文献[24,25,26,27]研究了ISAC的联合波束模式设计，旨在通过最小化CRLB来提高传感精度或通过最大化总速率来增强通信容量。特别是，文献[24]为车对基础设施（V2I）网络中的车载发射机制定了ISAC波束成形设计，而文献[25]提出了V2I网络下行链路中的传感辅助预测波束跟踪。最近，许多研究人员利用深度学习或强化学习进行ISAC网络中的波束成形设计[28,29]。文献[30,31]使用深度强化学习（DRL）进行ISAC系统中的动态波束成形和功率分配，文献[32]提出了一种基于DRL的节能ISAC启用的V2X网络波束成形方案。然而，这些ISAC波束成形研究没有考虑具有自适应时间划分和多用户波束成形的联合TD-ISAC问题，即它们没有动态优化帧级时分。

在本文中，我们提出了一种用于TD-ISAC系统的动态时间分配和波束成形方案。所提出的方案联合优化了传感-通信时间分配和用于传感和通信的发射波束成形向量。我们的论文与以往的研究不同之处在于，它整合了两个通常分开处理的强耦合决策：应分配多少帧时间给传感与通信，以及如何根据这种时间划分设计相应的传感和通信波束。这种耦合是我们公式化的核心。例如，较大的传感比例可以提高有效传感SNR并降低CRLB，但它会缩短通信阶段并降低有效总速率。同时，波束成形质量会影响传感增益和通信SINR。由于这些决策以非线性方式相互作用，并且会随着车辆位置和信道的变化而变化，因此单独优化它们是不够的。本文的主要贡献如下。首先，我们为ISAC辅助的V2I网络提出了一个联合优化方案，用于时间分配和波束成形向量。具体来说，所提出的方案根据信道条件动态调整传感-通信时间比例，并优化传感和通信的波束成形向量。其次，我们结合了以CRLB为导向的传感目标和最小有效总速率约束，从而明确平衡了传感精度和通信性能。第三，我们开发了一个近端策略优化（PPO）算法来解决优化问题，其中奖励被定义为传感性能和通信性能的加权和。

本文的其余部分组织如下。第2节描述了系统和信道模型。第3节介绍了传感和通信性能。第4节制定了优化问题，并提出了所提出的动态时分（DTD）-ISAC波束成形方案，详细描述了DRL的状态、动作和奖励。第5节提供了仿真结果，第6节总结了本文。

2. 系统模型
2.1. 系统描述
我们考虑了一个具有单个RSU和K辆车辆的ISAC启用V2I网络的下行链路，如图1a所示。RSU配备了均匀线性的发射天线阵列和专用于单站雷达传感的均匀线性接收天线阵列。RSU服务于K辆车，每辆车配备了M个接收天线。图1展示了系统模型。RSU以时分方式执行传感和通信功能。如图1b所示，每个帧被划分为一个比例为的传感阶段和一个比例为的通信阶段。在传感阶段，RSU发送一个专用的传感波形并接收反射回波以估计车辆的角度和距离。在通信阶段，RSU使用多用户发射波束成形矩阵向K辆车发送独立的数据流。

2.2. 信道模型
RSU与第k辆车之间的无线信道采用适用于高速公路和开阔道路场景的视距（LoS）传播模型[2,33]。用表示大尺度路径损耗系数，用表示RSU到车辆k的几何出发角（AoD）。RSU到车辆k在时间t的下行信道可以表示为：
(1)
其中向量表示RSU处的发射阵列响应，向量表示车辆处的接收阵列响应。假设使用半波长间距的均匀线性阵列（ULAs），发射和接收阵列响应分别为：
(2)
(3)
路径损耗系数遵循标准的距离依赖衰减模型，表示为：
(4)
其中是时间t时RSU与车辆k之间的距离，是参考距离，是参考距离处的路径损耗，是路径损耗指数。

3. TD-ISAC系统中的性能评估
RSU在传感和通信阶段使用不同的发射信号。RSU在一个帧内的总发射功率受到预算的限制，该预算在传感和通信阶段之间共享。在TD-ISAC系统中，帧持续时间被划分为传感阶段和通信阶段。首先，在传感阶段，RSU执行传感功能。在此期间，RSU发送一个专用的探测信号并接收其传感阵列上的回波。然后，在剩余的时间内，RSU使用下行多用户波束成形同时服务于K辆车。

3.1. 传感性能
在传感阶段，RSU使用探测波形发送一个专用的传感波束。然后，RSU使用由个元素组成的传感阵列接收反射回波。在传感周期内对个独立回波进行匹配滤波和相干积分后，RSU形成了足够的统计信息来估计每辆车的角度和距离。这些估计的质量通过CRLB[34,35]来捕获，CRLB为任何无偏参数估计器的方差提供了一个下界。目标车辆k在传感周期内对个回波进行相干积分后的有效传感SNR与传感时间、路径损耗和发射方向的阵列增益成正比，表示为：
(5)
其中是传感-通信时间比例，是车辆k的路径损耗系数，是RSU处的发射阵列响应，是传感波束成形向量，是噪声功率。

角度估计的CRLB与传感SNR和有效孔径的平方成反比。因此，车辆k的角度估计的CRLB可以表示为：
(6)
类似地，距离估计的CRLB与传感SNR和系统带宽B的平方成反比；因此，车辆k的距离估计的CRLB可以表示为：
(7)
因此，传感性能的集成CRLB可以表示为每个用户角度和距离CRLB的加权和，表示为：
(8)
其中和分别是车辆k的角度和距离CRLB，是一个系统参数，用于控制角度和距离估计的相对权重。

特别是，增加传感持续时间允许接收器从反射信号中积累更多能量，从而线性增加有效传感SNR。由于CRLB与信噪比（SNR）成反比（见公式（6）和（7）），因此通过分配更多的时间资源用于感知可以直接抑制估计误差的方差。3.2. 通信性能在通信阶段，RSU使用发射波束成形矩阵（9）向K辆车传输数据符号，其中是第k辆车的波束成形向量。设表示发送给第k辆车的信息符号，具有单位平均功率。RSU处的发送信号向量为（10），其中。第k辆车处的接收信号向量为（11），其中是加性高斯白噪声（AWGN）。第k辆车应用线性接收组合器（12）来获得决策变量。这里，我们选择最大比组合（MRC）作为如下：（13），这在单用户设置中最大化了瞬时接收SNR。在第k辆车处，线性接收组合下的瞬时信号与干扰加噪声比（SINR）由（14）给出。假设高斯信号和理想编码，每帧的有效总速率由（15）给出。4. 提出的DTD-ISAC波束成形方案4.1. 问题表述我们的目标是在每个决策时刻t最小化积分CRLB，同时满足通信有效总速率大于或等于某个阈值的要求。在提出的DTD-ISAC系统中，可以根据时变信道动态调整感知-通信时间分配。因此，在时刻t需要动态确定的参数如下：感知-通信时间比率、感知波束成形向量和通信波束成形向量。然后可以如下表达优化问题：（16）由于和对于波束成形向量有非凸依赖性，信道和移动性动态引起的时间耦合，以及实时决策的要求，直接解决（16）是困难的。因此，我们使用基于PPO算法的DRL框架重新表述问题（16）。4.2. MDP建模设表示在决策时刻t将观测值映射到连续动作向量的控制策略：（17）为了将感知和通信性能之间的权衡表示为单一的标量度量，定义了一个积分奖励：（18），其中是控制违反通信速率要求严重程度的惩罚权重，是探索奖励的权重。在（18）的奖励中，每一项都旨在反映特定的控制目标。第一项直接鼓励减少由CRLB表示的积分感知误差。第二项在通信总速率低于最低要求阈值时施加惩罚；因此，引入了来在训练期间充分强调通信速率约束。第三项为感知时间比率提供了探索激励，以便在学习初期学习到的策略不会过早偏向极端边界值。相应地，被用作一种正则化类型的参数，以支持稳定的探索，而不是作为主导的性能项。这些权重参数可以通过实验选择，以便在训练期间奖励成分具有可比的影响，代理可以学习到不会过度偏向任何一个目标的平衡策略。更具体地说，选择足够大的，以强烈阻止速率约束的违反，而设置相对较小，以便在不覆盖主要感知-通信权衡的情况下辅助探索。给定一个策略，一个帧范围内的长期性能由预期折扣回报（19）表征，其中是折扣因子。DRL框架内的控制目标是找到一个策略，以最大化预期回报，如下：（20）DTD-ISAC控制问题可以建模为一个马尔可夫决策过程（MDP），由元组描述，其中是状态，是动作，P是转移，R是奖励，是折扣因子。4.2.1. 状态和观测时间t时的底层系统状态，表示为，包括所有车辆的位置、速度和信道实现，如下：（21）其中是车辆的位置，是车辆的速度，是车辆k的信道。策略作用于观测向量，其中表示观测函数。注意，性能指标是使用从初始校准阶段收集的统计数据进行标准化的，以确保训练的稳定性。4.2.2. 动作空间RSU控制高维波束成形向量，但直接学习这些向量在计算上很复杂。因此，我们采用参数化的动作空间，其中代理控制波束成形方向和功率分配。时间t的动作向量定义为（22），其中是感知-通信时间比率，是分配给感知的总功率的比例，是决定车辆k的通信波束功率的功率分配系数。此外，是应用于车辆k的估计视线（LoS）角度的角度偏移。通信波束被构建为一个指向的转向向量。这种结构化的动作设计旨在保持高移动性车辆环境中DRL问题的可处理性。直接优化完整的复数值感知和通信波束成形向量将导致更高维的连续动作空间，并显著增加训练难度。因此，所提出的参数化捕捉了与定向车辆信道相关的主导波束转向和功率分配决策，同时保持学习问题的可管理性。尽管这种动作空间不代表最通用的波束成形结构，可能无法实现全局最优的无约束预编码，但它为联合优化TD-ISAC车辆网络中的时分和波束控制提供了实用且稳定的公式。4.2.3. 转移和奖励状态根据反映车辆移动性和信道动态的随机转移概率演变。转移模型通过一个模拟环境实现，该环境在车辆网络中生成车辆轨迹和信道实现。时间t的奖励由（18）给出。奖励结合了感知性能和通信性能，鼓励DRL代理在满足最低通信速率要求的同时减少基于CRLB的感知误差。4.3. 基于PPO的学习我们应用PPO的演员-评论家架构来学习一个随机策略，由参数化，其中是动作，o是观测值。PPO是一种策略梯度方法，它使用裁剪的替代目标来稳定策略更新[38]。策略网络将观测值作为输入，并输出连续动作空间上的多变量高斯分布的参数（例如，均值和方差）。价值网络具有类似的结构，但输出状态值的标量估计，参数。在本文中，两个网络都使用两个具有128个单元的非线性激活函数实现。设表示更新前的策略参数。对于一批轨迹，PPO目标由（23）给出，其中是裁剪参数，是时间步t时优势函数的估计，是[38]的裁剪函数，是概率比率，如下：（24）价值网络参数通过最小化平方价值损失来更新，如下：（25）其中是目标值，例如经验回报。在PPO框架中，训练过程在使用当前策略收集轨迹和根据收集的数据更新策略和价值网络之间交替进行。在时间步t，代理首先根据当前观测值使用策略采取动作。然后，代理计算（18）的奖励和下一个观测值。转移存储以供后续处理。在计算出优势估计后，通过增加（23）的PPO目标来更新参数，通过减少（25）的价值损失来更新参数。这个过程重复进行，直到策略收敛或达到终止条件，例如最大迭代次数。基于PPO的DTD-ISAC波束成形方案的细节在算法1中总结。算法1 基于PPO的DTD-ISAC波束成形1：初始化策略参数和价值参数。2：对于执行3： 重置模拟环境并获得初始观测值。4：对于时间步执行5： 采取动作。6： 根据（18）观察奖励。7： 观察下一个观测值。8： 存储以供后续处理。9： 计算经验回报和优势估计。10： 通过增加（23）的PPO目标来更新，并通过减少（25）的价值损失来更新。11： 结束对于12：结束对于5. 仿真结果我们在一个V2I下行场景中评估了所提出的DTD-ISAC波束成形方案的性能，该场景中有一个RSU和辆车，车辆以[10 m/s, 12 m/s]的恒定速度在道路上移动。车辆随机分布在不同的车道上。仿真参数在表1中总结。我们运行了具有独立初始位置和速度的剧集，每个剧集包括时间步，因此剧集持续时间为。表1. 仿真参数。PPO算法的参数如下：小批量大小为256，折扣因子为0.99，广义优势估计器（GAE）参数为0.95，裁剪范围为0.2，演员和评论家网络的隐藏层数量为2，每次更新的游戏长度为100帧，策略学习率为0.0003，价值学习率为0.001，价值损失系数为0.5，每次更新的PPO时代数为10，每个场景的训练剧集数为100个。我们将所提出的DTD-ISAC波束成形方案的性能与传统的固定时分（FTD）-ISAC波束成形方案进行了比较，后者具有确定的固定感知-通信时间比率。ISAC波束成形方案的性能根据感知和通信性能指标进行评估，例如角度估计的平均CRLB、距离估计的平均CRLB和平均总速率，如下：（26）（27）（28）图2显示了角度估计的平均CRLB，图3显示了距离估计的平均CRLB，其中两个图中的x轴代表平均总速率。在传统的FTD-ISAC波束成形中，随着值的减小，通信阶段延长，增加了平均总速率，但感知阶段缩短，降低了感知性能，即和。此外，传统的FTD-ISAC波束成形仅在小于或等于时满足通信总速率要求。然而，所提出的DTD-ISAC波束成形方案根据信道环境动态调整感知-通信时间比率。因此，所提出的DTD-ISAC波束成形方案在满足最低通信总速率的同时显示出良好的感知精度。由于传统的FTD-ISAC波束成形方案通过固定感知-通信时间比率而无法考虑无线信道的变化，因此在满足通信数据速率要求时要么显著降低感知精度，要么在提高感知精度时显著降低通信数据速率。特别是，当在传统方案中时，所提出的方案具有相似的总速率性能，但CRLB提高了80%以上。当在传统方案中时，所提出的方案具有相似的CRLB性能，但总速率提高了45%以上。图2. 角度估计的平均CRLB与平均总速率。图3. 距离估计的平均CRLB与平均总速率。图4显示了仿真过程中的分布。应该注意的是，的分布根据信道环境而变化。如图4所示，的值不是恒定的，而是随着车辆的移动而变化。在这个仿真中，的平均值约为。图4. 的分布。6. 结论在本文中，我们提出了一种基于PPO的DTD-ISAC波束成形方案，用于V2I网络。所提出的方案在满足最低通信数据速率要求的同时，动态分配时间资源于感知和数据传输，并联合优化波束成形向量，以提高感知精度。我们开发了一个优化问题，该问题确定了感知-通信时间比率、感知波束成形向量和通信波束成形向量。然而，由于直接解决问题过于困难，我们采用了PPO算法，通过将感知性能与通信性能之间的权衡建模为一个单一的标量指标来实现。所提出的DRL代理观察车辆的移动状态和链路条件，并实时输出感知时间与通信时间的比例以及波束成形向量。在所提出的DTD-ISAC系统中，当车辆距离较远或移动速度较快时，代理会有效增加感知时间；而当通信数据速率降至最低要求时，则会减少感知时间。与传统的FTD-ISAC波束成形方案相比，基于PPO的DTD-ISAC波束成形方案在感知精度和数据速率方面表现出显著更好的性能。尽管本次模拟仅使用了有限数量的车辆，但由于所提出的DTD-ISAC框架能够根据信道和移动条件动态调整感知时间与通信时间的比例及波束成形决策，因此该方法在各种场景下的整体性能趋势仍会保持一致。当有K辆车时，动作维度为K，因为代理需要确定一个感知时间与通信时间的比例、一个感知功率比例、K个转向偏移量以及K个通信功率分配变量。随着K的增加，学习空间变大，训练和动作选择的计算负担也会增加。不过，由于所提出的动作结构与K成线性关系，该框架仍然适用于更大的车辆场景，尽管训练时间和实现复杂性会有所增加。未来的研究可以包括在更真实的信道模型下进行性能评估。虽然本研究采用了以视距（LoS）为主的信道模型，但仅基于LoS的信道模型无法完全反映实际车辆环境中遇到的各种传播特性，因为在实际环境中，非视距（NLoS）传播、遮挡事件和时变衰落都会显著影响感知和通信性能。因此，将所提出的框架扩展到包含NLoS传播、遮挡、多普勒扩散和时变衰落的更真实传播环境中是未来研究的一个重要方向[39]。此外，通过与其他动态或基于学习的方法（如基于优化的自适应方案或其他DRL算法）进行比较，可以进一步加强这项研究。