面向6G的智能反射面辅助集成感知通信：深度强化学习赋能网络优化新范式

《IEEE Vehicular Technology Magazine》：Revisiting the Mobile Channel [From the Editor]

本期推荐关注RIS辅助ISAC网络优化研究。针对高频传输、算力受限及动态环境等挑战，研究人员应用多种DRL方法进行波束成形与资源分配优化，有效提升了感知-通信权衡性能，为未来6G应用提供了关键技术支撑。

　　

随着第五代移动通信技术（5G）的规模化部署和第六代移动通信技术（6G）研究序幕的拉开，无线通信系统正朝着支持感知、控制与通信深度融合的方向演进。在这一背景下，传统的无线电信道观念发生了根本性转变——它不再仅仅是被动适应和克服的传输环境约束，而是成为系统设计中可以主动塑造和优化的关键要素。特别是可重构智能表面（Reconfigurable Intelligent Surface, RIS）技术的出现，通过智能地调控电磁波传播环境，为提升无线网络性能开辟了新途径。然而，实现高效的集成感知与通信（Integrated Sensing and Communication, ISAC）网络面临着高频段传输损耗大、终端计算能力有限以及复杂动态环境适应性差等多重挑战。为了解决这些问题，研究人员将目光投向了深度强化学习（Deep Reinforcement Learning, DRL）这一人工智能技术，探索其在RIS辅助的ISAC网络优化中的应用潜力。

相关研究发表在《IEEE Vehicular Technology Magazine》2025年9月刊的特刊“Channel Modeling and Propagation for Beyond 5G Mobile Radio”上。文章由Z. Chen, L. Huang, H. C. So, H. Jiang, X. Y. Zhang, 和 J. Wang共同完成，题为“Deep reinforcement learning over RIS-assisted integrated sensing and communication: Challenges and opportunities”。该研究旨在应对未来无线网络，特别是6G应用场景中，对高性能、低功耗和强环境适应性的迫切需求。

为了系统评估DRL在RIS辅助ISAC网络中的效能，研究人员主要采用了理论建模与仿真验证相结合的技术路线。首先，他们构建了包含RIS的ISAC系统模型，该模型能够同时刻画通信速率、感知精度等关键性能指标。其次，研究重点聚焦于应用多种典型的DRL算法，例如深度Q网络（Deep Q-Network, DQN）、近端策略优化（Proximal Policy Optimization, PPO）等，对这些算法在解决RIS相位配置（即波束成形设计）和通信资源（如功率、频谱）分配问题上的性能进行了深入的对比分析。该方法的核心在于通过DRL智能体与环境的持续交互，自主学习最优的控制策略，而无需依赖精确且难以获取的完整信道状态信息。

研究结果

DRL方法在波束成形设计中的应用

研究人员通过仿真实验比较了多种DRL算法在RIS波束成形设计任务中的表现。结果表明，基于策略梯度的DRL方法（如PPO）在动态环境下的波束跟踪和成形方面展现出优越性，能够快速适应信道变化，实现通信链路和感知波束的协同优化。相比之下，基于值函数的DRL方法（如DQN）在离散动作空间较小的问题上表现稳定。这些发现为不同场景下DRL算法的选择提供了依据。

DRL方法在资源分配优化中的效能

在资源分配方面，研究将DRL应用于联合优化通信用户的功率分配和RIS单元的相位偏转。仿真数据显示，DRL驱动的资源分配策略能够有效平衡系统内多个通信链路的需求与感知任务的性能要求，显著提升了频谱效率和能量效率。特别是在网络负载较重或感知任务优先级较高的情况下，DRL方法相较于传统的优化算法（如凸优化）表现出更强的灵活性和全局优化能力。

ISAC性能权衡的改善

综合波束成形和资源分配两方面的优化，研究表明，所提出的DRL框架能够系统地改善ISAC网络中固有的感知与通信性能权衡（Sensing-Communication Tradeoffs）。通过智能地配置RIS和网络参数，系统可以在保证一定通信质量的前提下，显著提升目标检测、定位等感知功能的精度，或者在满足感知性能要求的同时，优化用户的通信体验。

对未来6G应用场景的支撑潜力

文章进一步探讨了该DRL框架对未来6G典型应用场景（如自动驾驶、智能交通系统）的支撑潜力。分析指出，基于DRL的RIS-ISAC协同优化机制，能够为车辆到一切（Vehicle-to-Everything, V2X）通信、高精度定位、环境感知等提供低时延、高可靠的技术基础，是实现6G愿景的关键使能技术之一。

结论与讨论

本研究系统性地探讨了深度强化学习在可重构智能表面辅助的集成感知通信网络中的应用。研究结论表明，DRL技术为解决ISAC网络中的波束成形设计和资源分配难题提供了有效的解决方案，能够显著提升系统在感知精度、通信速率和资源利用效率等方面的综合性能。其重要意义在于，它展示了一种不依赖于精确信道模型、能够自适应复杂环境的智能网络优化新范式。

讨论部分强调了该研究面临的挑战与未来机遇。主要挑战包括DRL算法在超大规模RIS阵列配置时的训练复杂度、在极端动态场景下的策略稳定性以及与其他网络功能（如路由、计算卸载）的协同问题。未来的研究方向可能集中在开发更高效的DRL算法、设计轻量化的分布式训练架构、以及探索DRL与模型驱动优化方法的融合，以进一步提升方案的实用性和可扩展性。总体而言，这项工作为推进6G无线通信技术，特别是在智能交通、工业物联网等对感知通信一体化有高要求的领域，提供了重要的理论依据和技术路径参考。