基于改进Transformer的无缆水下航行器(UUV)运动模式识别方法

《Journal of Marine Science and Engineering》：Digital Twin System for Multi-Scale Motion Prediction of Unmanned Underwater Vehicles Yingliang Chen, Yijia Luo, Jialin Liu, Jinzhuo Zhu, Yong Zou, Kai Lv, Jinchuan Chen, Baorui Xu and Hongyuan Li

　　

摘要：针对复杂水下环境中无缆水下航行器（Unmanned Underwater Vehicle，UUV）运动模式自动识别精度低、传统方法难以充分挖掘时序全局依赖关系的问题，研究人员提出一种基于改进Transformer编码器的UUV运动模式识别方法。该方法以UUV六自由度（6-DOF）运动参数序列为输入，通过位置编码（Positional Encoding）保留时序顺序信息，利用多头自注意力机制（Multi-Head Self-Attention）捕获不同时刻运动特征间的长程相关性，经前馈网络（Feed-Forward Network，FFN）与层归一化（Layer Normalization）进行非线性变换与残差连接；随后引入多尺度一维卷积（1D Convolution）分支（卷积核尺寸k∈{3,5,7}）分别提取短、中、长期局部时序特征，经平均池化（Average Pooling）与最大池化（Max Pooling）压缩后拼接（Concatenation），最终由全连接层输出运动模式分类结果。研究人员在公开及实测UUV数据集上与支持向量机（Support Vector Machine，SVM）、长短时记忆网络（Long Short-Term Memory，LSTM）、门控循环单元（Gated Recurrent Unit，GRU）及标准Transformer模型进行对比实验，结果表明所提方法在准确率（Accuracy）、精确率（Precision）、召回率（Recall）和F1分数上均优于对比模型，可有效识别UUV典型运动模式并对噪声具有较强鲁棒性。

研究背景与意义

无缆水下航行器（Unmanned Underwater Vehicle，UUV）在海洋探测、军事侦察等任务中需准确识别自身或目标的运动模式（如直航、转弯、上浮、下潜、悬停等），以实现自主决策与行为预测。传统运动模式识别依赖人工提取特征结合支持向量机（Support Vector Machine，SVM）或隐马尔可夫模型（Hidden Markov Model，HMM），难以适应非线性、强噪声的水下环境；基于循环神经网络（Recurrent Neural Network，RNN）的变体——长短时记忆网络（Long Short-Term Memory，LSTM）和门控循环单元（Gated Recurrent Unit，GRU）虽能处理时序数据，但存在梯度消失/爆炸问题且难以并行计算，对长序列全局时序依赖的捕捉能力有限。Transformer架构凭借多头自注意力机制（Multi-Head Self-Attention）可并行建模任意位置间依赖关系，已在自然语言处理和视频分析中取得突破，但在UUV运动序列分析中的应用尚待探索。现有标准Transformer直接用于UUV运动序列时，对局部细粒度时序特征的提取能力不足。为此，研究人员设计并验证一种融合多尺度一维卷积（1D Convolution）与改进Transformer编码器的UUV运动模式识别模型，旨在同时捕获全局时序相关性与多尺度局部运动特征，提升识别精度与鲁棒性。该研究成果发表于《Journal of Marine Science and Engineering》。

主要关键技术方法

研究人员采集/使用UUV六自由度（6-DOF： surge、sway、heave、roll、pitch、yaw）运动参数时序数据集，按时间窗口切片构造样本并标注运动模式类别。模型输入端先对原始序列做线性投影与位置编码（Positional Encoding，PE，基于正弦—余弦函数）以注入时序顺序信息；随后送入改进Transformer编码器——含N层相同结构，每层由多头自注意力子层（头数h=8，d_k=d_v=d_model/h=32，Q/K/V通过可学习权重矩阵W^Q_i、W^K_i、W^V_i线性投影后计算缩放点积注意力再拼接，乘输出投影矩阵W^O）与带高斯误差线性单元（Gaussian Error Linear Unit，GELU）激活的前馈网络（FFN，中间隐层d_ff=512，两线性层夹GELU），各子层后接残差连接（Residual Connection）与层归一化（Layer Normalization）。编码器输出经转置适配1D卷积输入格式后，并行送入三个卷积核分别为k=3、5、7的一维卷积分支（Conv1D_k，输入输出通道d_model=256，same padding保长度不变），各分支分别做平均池化与最大池化沿时间维压缩，六组池化结果拼接后通过全连接层与Softmax输出各类别概率。模型采用交叉熵损失与Adam优化器训练，与SVM、LSTM、GRU、标准Transformer对照评估。

研究结果

Multi-Head Self-Attention Mechanism（多头自注意力机制）

研究人员将输入经线性投影得Query(Q_i)、Key(K_i)、Value(V_i)，各头独立计算Attention(Q_i,K_i,V_i)=softmax(Q_iK_i^T/√d_k)V_i，再Concat后乘W^O。实验表明多头设计较单头能同时关注不同子空间的特征关联，d_k=32防止点积过大导致梯度弥散。

Position-wise Feed-forward Network（位置级前馈网络）

FFN(x)=GELU(xW₁+b₁)W₂+b₂，W₁∈?^{d_model×d_ff}，W₂∈?^{d_ff×d_model}，d_ff=512，GELU较ReLU提供平滑非线性改善深层训练稳定性。

Residual Connection and Layer Normalization（残差连接与层归一化）

y=LayerNorm(x+Sublayer(x))，Sublayer为多头自注意力或FFN，缓解梯度消失并保持特征分布稳定。

Multi-Scale Temporal Feature Extraction Module（多尺度时序特征提取模块）

C_k=Conv1D_k(H^T)，k∈{3,5,7}，H^T为编码器输出转置；各分支经AvgPool与MaxPool后拼接融合短中长期局部波动、状态转移与趋势特征，补充Transformer对局部细节的感知。

讨论与结论

研究人员通过对比实验验证：所提改进Transformer模型在UUV运动模式识别任务上的Accuracy、Precision、Recall及F₁-score均显著高于SVM、LSTM、GRU及标准Transformer基线；消融实验证明多头自注意力有效捕获长程时序依赖，多尺度卷积分支显著提升对局部运动细节的敏感性，二者协同是提高识别性能的关键。研究表明将Transformer全局建模能力与多尺度卷积局部特征提取相结合适用于UUV运动时序分析，可为水下无人平台智能感知与行为理解提供有效技术途径。论文结论为：An improved Transformer-based method integrating multi-scale 1D convolution is proposed for UUV motion pattern recognition, which outperforms traditional machine learning and standalone recurrent or Transformer models in accuracy and robustness, demonstrating the effectiveness of combining global self-attention with local multi-scale feature extraction for underwater vehicle motion sequence analysis.