基于深度学习的多传感器观测融合滤波方法

《Microelectronics Journal》：Deep learning-driven multi-sensor observation fusion filtering method

　　摘要：多传感器融合估计在信息融合领域具有重要意义。然而，传统估计方法由于过度依赖模型信息及固定权重分配，存在性能局限，难以实现对异构观测数据的统一表示以及传感器可靠性的动态评估。为解决传统模型驱动的多传感器观测融合滤波中存在的模型不匹配问题，本文提出一种基于深度学习的观测融合滤波算法，将该算法与数据驱动的自注意力神经网络相结合。该算法包含观测特征提取模块、动态权重分配模块以及噪声参数估计网络。通过编码多源异构观测序列的时间特征，可实现传感器间的统一表示；利用注意力机制动态学习各传感器的融合权重；同时以数据驱动方式估计系统噪声协方差，最终通过加权观测融合框架得到状态估计值。仿真实验表明，与传统的数据驱动方法如KalmanNet和IFNet，以及协方差交叉融合和算术平均融合算法相比，所提算法在估计精度方面更具优势。此外，滤波时间分析显示该算法能够满足实时性要求。

引言：在目标跟踪和智能边缘设备领域，精确的状态估计是实现智能决策和控制的基础[1,2]。多传感器融合技术通过整合多源观测数据，已成为提升状态估计的稳健性和精度的关键手段[3]。尤其在微电子和嵌入式系统应用中，多传感器数据采集常常面临高频环境噪声干扰和计算资源受限等硬件挑战，这对滤波算法的实时性能和抗噪声能力提出了更高要求[4,5]。随着人工智能的快速发展，深度学习技术，尤其是注意力机制，因其擅长建模长距离依赖关系和捕捉上下文关联，已被广泛应用于自然语言处理[6,7]、计算机视觉[8]以及微电子系统的硬件级边缘计算[9]。因此，将深度学习应用于多传感器融合是一个极具前景的研究方向。尽管如此，在系统噪声特性未知或随时间变化、传感器可靠性动态变化的复杂场景下，实现精确的多传感器状态估计仍面临核心挑战[10,11]，即如何构建端到端的自适应多传感器融合机制，以实现异构观测数据的统一表示和传感器可靠性的动态评估。为解决这一难题，本文提出了一种基于深度学习的观测融合滤波算法。

基于多传感器观测的融合估计主要面临以下两个核心挑战。首先，传感器权重分配对提升融合性能至关重要。传统的加权融合方法通常采用固定权重分配策略，无法根据传感器数据的实时质量动态调整权重[12,13]。当传感器出现瞬时性能下降或受到干扰时，固定权重无法有效减轻不可靠观测数据对融合结果的影响，从而降低整体估计的稳健性。其次，异构传感器信息的统一表示与融合也是另一大挑战。不同传感器具有不同的观测维度、物理含义和噪声特性。如何构建一个能够自适应处理异构传感器信息并充分利用其互补性的统一融合框架，是传统方法难以妥善解决的难题[14]。

为实现传感器的动态权重分配以及异构信息的统一融合，关键在于构建一种能够自适应学习传感器性能的时间变化特征以及观测序列中跨传感器特征相关性的模型。近年来，数据驱动的融合滤波方法已在多种技术路径上得到系统研究。在神经网络辅助卡尔曼滤波方面，Revach等人[15]提出了KalmanNet，它将卡尔曼增益计算嵌入循环神经网络中，以数据驱动方式学习动态系统的噪声统计特性，在模型部分已知的情况下，其估计精度优于传统滤波方法。Wang等人[3]进一步提出了IFNet，将信息滤波结构与循环神经网络结合，有效处理传感器测量噪声之间的未知交叉相关性，在降低计算复杂度的同时保持可解释性。Wu等人[16]提出的DIFNet则将信息滤波与图神经网络结合，通过频率感知的双信息融合范式实现去中心化的融合估计。此外，Jiao等人[17]全面总结了深度学习在多传感器数据融合中的应用，将其系统分为早期、中期、晚期和混合融合四种范式。他们指出，基于注意力的融合机制具有整合异构信息的强大能力。Cohen等人[18]和Tang等人[19]则分别从惯性导航和目标跟踪的角度强调了端到端学习框架在复杂环境中的应用潜力。

尽管上述数据驱动方法在各自应用场景中表现良好，但其核心的时间建模单元主要以循环神经网络及其长短期记忆变体为基础[20,21]。这类循环结构存在两个固有缺陷：首先，其顺序计算模式限制了训练和推理阶段的并行效率，难以充分利用现代GPU的计算能力；其次，梯度消失或爆炸等问题使得这些模型难以捕捉多传感器观测序列中的长距离时间依赖关系和跨步态相关性，进而难以同时实现动态的跨传感器权重分配和异构特征的统一表示[22]。近年来，基于自注意力机制的Transformer架构[6]由于其具备并行全局建模能力，为解决这些难题提供了新思路。其注意力权重可自然作为衡量传感器重要性的指标，而多头机制则有助于学习异构特征之间的统一关联。最新的硬件架构研究也表明，Transformer非常适合在资源受限的微电子设备中进行高效部署和状态估计[23]。因此，研究人员开始探索其在多传感器融合中的应用。例如，Park等人[24]提出的Immortal框架利用自适应查询路由器，根据传感器特征质量的实时变化动态选择融合路径。类似地，Zhang等人[25]提出的MSMFT方法通过设计分解型Transformer架构，有效解决了视频和可穿戴传感器等异构数据的对齐和融合难题。然而，这些研究大多侧重于前端特征增强，未能考虑输入观测序列中复杂的时序噪声相关性，也不具备对时变传感器噪声进行自适应建模的能力。此外，这些方法均未将动态融合过程与状态估计理论（如卡尔曼滤波）中的噪声协方差更新机制相结合。这种根本性的脱节使得它们难以直接应用于对估计精度和可靠性要求极高的滤波问题。

基于以上分析，本文提出了一种基于Transformer的多传感器观测融合卡尔曼滤波方法，利用Transformer在建模长序列依赖关系和捕捉跨传感器相关性方面的优势，构建从原始观测序列到融合观测值的映射关系。本研究的主要贡献如下：(1) 提出了一种端到端的Transformer多传感器融合滤波框架，该框架无需依赖精确的观测函数和先验噪声统计信息，可直接从原始异构观测序列学习到融合观测值，从而有效规避了传统方法对模型信息的过度依赖，实现了从原始数据到状态估计的整体优化。(2) 基于Transformer的编解码器结构设计了动态权重分配机制，利用多头自注意力同时建模传感器间以及不同时间步长的全局依赖关系，使得融合权重能够根据观测质量实时动态调整，显著提升了在传感器性能波动或受到干扰条件下的估计稳健性。

问题表述：考虑一个离散时间非线性动态系统，该系统配备有由L个传感器组成的传感器网络，每个传感器i(=1,2,…,L)能够提供系统在某一时刻的部分状态观测值。系统状态演化与观测模型由以下方程描述：xk=f(xk?1)+wk，wk～N(0,Qk)，zi,k=hi(xk)+vi,k，vi,k～N(0,Ri)，其中，xk表示第k时刻的系统状态向量；f:Rn→Rn为描述系统状态随时间变化的非线性状态转移函数；wk为噪声项。

基于Transformer的观测融合滤波：所提出的基于Transformer的多传感器融合卡尔曼滤波框架（TransFuser）以加权观测融合卡尔曼滤波理论为核心，通过深度学习学习观测方程和噪声参数，从而实现端到端的状态估计。整体框架如图1所示，包括三个核心模块：观测特征提取模块、动态权重分配模块以及噪声参数估计网络。原始多传感器数据经过这些模块的处理后，可得到融合后的观测值。

实验设置与评估指标：我们考虑了一个模拟目标跟踪场景的多传感器动态系统，该系统具有恒定转弯速率的运动特性。系统由三个异构传感器组成：位置传感器（S1）、速度传感器（S2）和角速度传感器（S3）。系统状态定义为x=[px,py,vx,vy,ω]T∈R5，其中px、py为平面位置坐标，vx、vy为平面速度分量，ω为转弯速率。状态转移函数f(xk?1)采用恒定转弯速率模型。

结论：为克服传统多传感器融合方法在噪声统计特性未知且传感器可靠性随时间变化的场景下适应性不足的问题，本文提出了一种基于Transformer的多传感器观测融合滤波算法。该框架通过数据驱动方法，同时实现了异构传感器特征的统一表示、动态权重分配以及噪声协方差估计，构成了一个端到端的优化框架。

利益冲突声明：作者声明不存在任何可能影响本文工作的已知财务利益或个人关系。

丁志凯
浙江工业大学信息工程学院，中国浙江省杭州市西湖区刘河路288号