提高海洋管道运输系统的可靠性：一种基于多迁移碰撞行为响应的含沙涡流流动安全监测方法

《Ocean Engineering》：Enhancing the reliability of marine pipeline transportation systems: A flow safety monitoring method for sand-carrying churn flows via multi-migration collision behavioral responses

水下被动声呐目标运动分析中的速度估计优化研究 中文摘要：本研究提出了一种基于深度强化学习的自动化目标运动分析（TMA）框架，通过Proximal Policy Optimization（PPO）算法和可定制水下环境模拟器，有效解决了传统方法依赖人工经验、易受噪声干扰的局限性。实验表明，在真实噪声条件下，该框架能以0.5度标准差噪声实现0.72节的速度估计精度（MAE），较传统批处理方法提升40%，成功率达96.7%，且推理延迟低于5秒，具备实时应用潜力。

　　本文提出了一种基于深度强化学习（DRL）的自动化目标运动分析（TMA）框架，旨在提升在水下环境中从声呐仅方位角测量数据中对目标状态进行估计的准确性和可靠性。传统TMA方法，如手动10点分隔法和批处理估计，往往依赖于操作员的专业知识，并且在环境噪声和人为误差的影响下容易出现不准确的情况。为了克服这些局限性，研究采用了一种基于近端策略优化（PPO）的智能体，用于自动且稳健地估计目标速度。此外，还开发了一个定制化的TMA模拟器，以生成多样化的水下场景，包括目标运动和噪声水平的变化，从而确保模型的泛化能力。

水下目标运动分析在军事和商业领域都扮演着至关重要的角色。在军事应用中，精确的目标跟踪对于潜艇作战、反潜行动和海军监视至关重要。而在商业应用中，它有助于水路交通管理、搜救任务以及自主船舶系统。因此，准确且实时的目标运动信息对于这些不同应用场景中的决策制定具有重要意义。传统TMA方法主要依赖于被动声呐数据，而不是主动探测方法，这种策略能够实现隐蔽跟踪，不会暴露观测者的存在，从而在操作场景中具有战略优势。然而，被动传感器无法直接提供距离测量，因此大多数TMA方法仅依赖于随时间变化的方位角信息来推断目标运动。这些方位角通常通过被动声呐系统提供的方位角时间记录（BTR）定期获取。由于水下环境的复杂性和噪声特性，准确的估计具有挑战性，通常需要人工干预。在实际操作中，训练有素的操作员会手动解读BTR数据以估计目标方位。

传统TMA方法中，假设目标以均匀线性运动（ULM）移动是其核心基础。这一假设并非仅仅是为了简化，而是为了确保估计问题能够得出唯一解。然而，当目标的加速度也被视为未知变量时，系统会变得欠定，即需要解决的未知状态变量数量多于可用测量数据所能约束的数量。这种情况下，目标的状态可能在某些操作中无法被数学上观测到，从而导致估计过程变得模糊且计算不可行。为了克服这一问题，研究采用了一种结合最大似然估计（MLE）和牛顿法的批处理估计方法，通过迭代优化目标状态，从而提高估计的准确性。同时，研究还引入了基于深度强化学习的框架，以自动估计目标速度，而无需依赖外部速度支持。

研究的核心在于构建一个能够处理水下环境复杂性的强化学习框架。为了实现这一目标，研究设计了一个包含目标运动和观测器机动信息的智能体。智能体通过与环境互动，学习最优策略，以提高目标速度估计的准确性。这一框架的关键组成部分包括状态空间、动作空间和奖励函数，这些组件共同构成了强化学习模型的决策机制。在状态空间中，研究考虑了目标的方位角序列、平均方位角变化率、累计方位角变化以及时间步长信息，这些信息有助于模型在噪声干扰下进行稳健的估计。在动作空间中，研究采用连续控制，以确保模型在动态环境中的稳定性。此外，奖励函数的设计鼓励模型在预测目标速度时保持稳定，同时减少不必要的波动。

为了提高模型的稳健性和泛化能力，研究还引入了系统化的噪声处理策略。在训练过程中，通过添加高斯噪声模拟实际传感器数据中的误差，从而确保模型能够在不同的噪声条件下进行准确估计。实验结果显示，训练后的智能体能够提供高度准确且稳健的速度估计，即使在现实噪声条件下也能保持良好的性能。这些结果表明，基于强化学习的目标速度估计方法能够显著减少对人工操作的依赖，提高水下目标跟踪系统的操作可靠性。

研究还提出了一个基于GRU的Actor-Critic架构，以优化目标速度估计的性能。该架构能够处理时间序列数据，并捕捉目标运动的长期时间依赖性。通过将GRU的输出与智能体的先前速度预测相结合，研究确保了模型能够基于连续状态进行有效的决策。实验结果表明，该架构在不同难度水平和噪声条件下均表现出色，特别是在高噪声和目标方位角变化较小时，仍然能够保持较高的预测精度和成功率。

研究的最终目标是开发一个能够在水下环境中自动进行目标运动分析的系统，以提高自主海洋监视和防御系统的性能。通过将强化学习应用于TMA，研究不仅提升了目标速度估计的准确性，还增强了模型的泛化能力。实验结果表明，该模型在处理水下数据时表现出色，能够适应不同环境条件，从而为实际应用提供了坚实的理论基础和技术支持。此外，模型的计算效率和实时推理能力也得到了验证，表明其在实际部署中的可行性。研究的结果不仅为水下目标跟踪提供了新的方法，还为未来的自主水下系统设计和优化提供了参考。