《SUNRISE：在完全嘈杂的环境中，通过邻居的观察进行多智能体强化学习》

《Expert Systems with Applications》：SUNRISE: Multi-Agent Reinforcement Learning via Neighbors’ Observations under Fully Noisy Environments

多智能体强化学习在完全噪声环境中难以有效学习策略，本文提出SUNRISE方法通过去噪表示网络利用相邻智能体噪声观测和自身噪声观测作为代理真实标签，结合经典MARL方法实现鲁棒政策优化。

　　在当今的多智能体强化学习（Multi-Agent Reinforcement Learning, MARL）研究中，随着技术的不断进步，该领域已广泛应用于各种现实场景，如自动驾驶、工业机器人协作、无人机编队控制等。然而，尽管在理想化的仿真环境中已经取得了显著成果，MARL方法在面对现实世界的噪声干扰时仍然面临诸多挑战。噪声干扰可能来源于传感器误差、通信延迟、环境不确定性等多种因素，这些因素使得智能体难以获得准确的环境状态信息，从而影响其学习和决策过程。因此，如何在噪声环境中设计出鲁棒的多智能体策略成为了一个亟待解决的问题。

本文提出了一种名为SUNRISE的方法，旨在通过引入一种去噪表示网络，帮助多智能体在完全噪声环境中学习有效的策略。该方法的核心思想是利用邻近智能体的噪声观测数据作为输入，并将智能体自身的噪声观测数据作为替代的“真实”信息来优化网络参数。这样做的目的是为了在没有准确环境状态信息的情况下，仍然能够提取出关键的环境信息，从而提升策略学习的效果。去噪表示网络能够从噪声数据中过滤出主要的环境状态信息，使智能体在训练过程中能够获得更可靠的数据输入，进而学习出更稳健的策略。

在现实世界中，噪声往往遵循高斯分布，因此本文假设噪声为零均值的高斯噪声。这种噪声模型在许多传感器和通信系统中都是常见的，如惯性测量单元（IMU）和视觉惯性导航系统（VINS）、全球导航卫星系统（GNSS）与传感器融合、车内定位系统以及无线通信链路等。由于噪声的普遍存在，传统的多智能体强化学习方法在完全噪声环境中往往表现不佳，因为它们依赖于准确的环境观测数据来更新策略。而在完全噪声环境中，所有智能体都无法获得干净或接近干净的外部环境状态信息，这使得传统的MARL方法难以有效学习策略。

为了应对这一问题，本文提出了一种新的方法——SUNRISE，其名称来源于“去噪表示网络”（Denoising Representation Network）的缩写。SUNRISE方法的核心在于利用邻近智能体的噪声观测数据作为输入，并将自身的噪声观测数据作为替代的真实信息。这种方法允许智能体在缺乏准确外部环境信息的情况下，依然能够通过邻近智能体的数据来推测环境状态。此外，去噪表示网络还能够从噪声数据中提取出主要的环境信息，从而减轻噪声对策略学习的负面影响。通过将去噪表示网络与经典MARL方法相结合，SUNRISE方法能够在完全噪声环境中实现有效的策略学习。

在多智能体系统中，环境观测通常可以分为内部和外部两类。内部环境观测指的是智能体对其自身状态的观察，例如速度、位置等，这些信息通常较为可靠。而外部环境观测则涉及智能体对其他智能体或环境的感知，这些信息在现实世界中往往受到噪声的干扰，导致观测结果不可靠。在完全噪声环境中，外部环境观测完全被噪声覆盖，使得智能体无法获得任何关于外部状态的真实信息。这种完全噪声环境在自动驾驶系统中尤为常见，因为车辆的速度和位置信息属于内部环境观测，而周围车辆的位置信息则受到传感器噪声的影响，成为外部环境观测的一部分。因此，如何在完全噪声环境中实现有效的策略学习，对于自动驾驶系统至关重要。

尽管有一些研究尝试解决多智能体系统中的噪声问题，但大多数方法仍然依赖于部分可观测的信息，例如某些传感器未被噪声干扰，或者在训练过程中偶尔能够获得真实信息。这些方法通常基于部分可观测马尔可夫决策过程（Partially Observable Markov Decision Processes, POMDPs）框架，利用共同知识、信念分布生成模型、记忆信息等手段来提高策略学习的鲁棒性。然而，这些方法并不能完全消除噪声的影响，特别是在完全噪声环境中，智能体无法获得任何真实信息，因此需要一种全新的解决方案。

本文提出的SUNRISE方法突破了这一限制，它通过引入去噪表示网络，使得智能体能够在完全噪声环境中仍然有效地学习策略。该网络利用邻近智能体的噪声观测数据作为输入，并通过自身的噪声观测数据来模拟真实环境状态。这种方法的关键在于，它不依赖于任何干净的外部环境信息，而是通过去噪过程从噪声数据中提取出有用的信息。去噪表示网络的设计使得智能体能够忽略噪声的干扰，专注于环境中的主要状态信息，从而提升策略学习的准确性。

此外，SUNRISE方法还具有良好的兼容性，可以与现有的经典MARL方法相结合，例如QMIX、COMA、MADDPG等。这种兼容性使得SUNRISE方法不仅适用于特定的完全噪声环境，还能够扩展到更广泛的多智能体系统中。通过将去噪表示网络嵌入到经典MARL方法的框架中，智能体能够在噪声干扰下仍然保持较高的策略学习效果。这种方法的优势在于，它不需要对现有MARL方法进行大规模修改，而是通过引入一个去噪模块来增强其鲁棒性。

在实验验证方面，本文设计了三个不同的场景来测试SUNRISE方法的性能，并与五种最先进的MARL方法进行了比较。实验结果表明，SUNRISE方法在完全噪声环境中能够显著提升策略学习的效果，特别是在处理外部攻击时，其表现优于传统的MARL方法。此外，本文还进行了多种消融实验，以验证SUNRISE方法中各个组件对性能的影响。这些实验结果进一步证明了SUNRISE方法的有效性，并为未来的研究提供了有价值的参考。

然而，SUNRISE方法仍然存在一些局限性。首先，它假设多个智能体在同一时间步可以独立地获取目标的噪声观测数据，这在某些复杂的多智能体系统中可能并不现实。其次，去噪表示网络的性能依赖于噪声的类型和强度，如果噪声模型发生变化，可能需要对网络进行重新调整。此外，本文的研究主要集中在较小规模的多智能体系统中，对于大规模或高度复杂的多智能体环境，SUNRISE方法的可扩展性尚未得到充分验证。因此，未来的研究可以进一步探索这些方面，以提高SUNRISE方法的适用性和鲁棒性。

总之，本文提出了一种全新的方法——SUNRISE，旨在解决多智能体强化学习在完全噪声环境中的策略学习问题。通过引入去噪表示网络，SUNRISE方法能够在没有准确外部环境信息的情况下，仍然有效地学习策略。该方法不仅具有良好的兼容性，还能够在多种现实场景中展现出优异的性能。未来的研究可以进一步优化该方法，以应对更复杂和大规模的多智能体系统，从而推动多智能体强化学习在现实世界中的应用。