BDF：一种用于物联网应用分类任务的双层数据融合方法

《Neurocomputing》：BDF: A bilevel data fusion method for classification task in IoT applications

　　

摘要
物联网应用通常使用广泛部署的传感器来感知物理过程，通常表示为与时间相关的序列，即时间序列数据。理解物理过程需要从原始时间序列的多个变换域中挖掘潜在信息。对于下游任务来说，充分学习原始数据中隐藏的多域信息并在之后进行融合非常关键。因此，我们提出了一种新的双层数据融合（BDF）模型，以充分学习并分层融合多域特征，从而从多个角度组合更多具有判别力的信息。首先，原始数据被转换到多个域中以丰富特征表示。然后，设计了一个带有低秩近似的张量模块，以用更少的冗余和更低的计算复杂度更好地融合频域和动态频域的特征。最后，使用时序增强模块来避免张量融合模块中的信息丢失，以实现决策级融合，这缓解了易错类别的混淆。在深部煤矿中进行的人体活动识别和结构健康监测实验表明，BDF 具有更好的性能。此外，我们证明 BDF 是一种更轻量级的融合模型，在分类任务中更有效。

引言
由于物联网技术的快速发展和广泛应用，越来越多的数据从广泛部署的传感器中生成和收集，携带着丰富的信息并通常反映潜在的物理过程。在物联网应用中，传感器通常测量物理量，生成的数据形式为时间序列 [1]。与图像不同，时间序列没有人类可识别的模式来识别相应的标签 [2]。由于物理过程的特性可以由信号的时域和频域表示，通用方法通常从时域和频域中学习代表性特征来完成下游任务，例如分类。

深度学习凭借其出色的特征学习和表征能力，广泛应用于医疗和制造业。在经典深度神经网络中，卷积神经网络（CNN）是学习时域或频域甚至两者特征的常见选择 [3]。物联网应用中传感器生成的数据本质上是时间序列。CNN 是一维的，可以捕获滑动窗口内数据的局部特征，但无法学习全局特征或多维关系。例如，直接用一维 CNN 融合加速度计 x、y、z 轴的数据是很困难的。为了解决这个问题，不同轴的原始信号被逐行堆叠成图像，这使得 CNN 能够提取不同轴信号之间的隐藏相关性 [4]。作为时间序列，传感器数据具有时间依赖性特征。为了捕获时间上的依赖关系，滑动窗口分割出的片段被输入循环神经网络（RNN）以学习片段间的关系 [5]。DeepConvLSTM 引入了长短期记忆（LSTM）层来建模时间依赖性。当 DeepConvLSTM 中的 LSTM 层被替换为一层 LSTM 时，卷积-LSTM 框架在相同的数据集上也表现良好 [6]。Transformer 彻底改变了时间序列预测，在比 RNN 更长的时间依赖性方面取得了进展。并且编码器流水线的输出总是被展平为一维向量并连接成单个向量以进行融合 [7]。

融合已被证明具有提升模型性能的能力。融合有多种形式，例如多模态融合 [8]、[9]，多视角融合 [10]、[11] 和多域融合 [12]、[13]。此外，具体的融合方法也非常重要。在上述方法中，拼接学习到的特征是融合不同来源信息的常见选择。然而，这种简单的“一加一”融合模式由于缺乏数据之间的交互，难以实现理想的性能。

为了学习数据之间的动态交互，张量被用作新的特征表示而不是拼接，它可以为不同的模态、视角或域提供紧凑而丰富的表示 [14]。张量融合网络（TFN）[14] 直接融合了来自文本、图像和音频三种模态的特征向量。此后，提出了许多基于张量的融合方法以实现模态间交互。通常的做法是将从不同模态学习到的表示向量输入张量层以捕获模态间的交互 [15]。Makantasis 等人 [16] 采用克罗内克积构建了包含空间和时间信息的张量，并将 Tucker 回归模型引入神经网络以压缩其参数空间。然而，基于张量的融合可以促进数据之间的信息交互，但会导致计算复杂度随融合源呈指数级增长。引入了张量分解或其他低秩融合方法，以低阶张量进行近似 [17]。此外，本文提出了一种时序增强方法，以避免分解过程中的信息丢失。

如上所述，来自物联网应用的数据是单模态信号，形式为时间序列。幸运的是，物理信号可以以不同的表示形式呈现在时域和频域中。论文中使用了数据融合的思想来融合充分学习的时域和频域特征，以互补时域或频域的任何不足之处。此外，动态频域完全反映了不同方向上不同频率点的幅度和相位变化信息，这些携带了物理过程的频率变化特征。因此，我们构建了一个多域融合网络，融合时域、频域和动态频域的数据以揭示潜在的物理特性。为了更好地融合多样化的数据形式，设计了一个通过张量外积的张量融合模块。但是，获得的张量太大，无法训练。引入张量分解进行低秩近似，这降低了计算复杂度并移除了张量中的冗余信息。然而，融合并不总是对任务有益。张量融合可能会丢失一些类别识别的关键信息。由于类别通过时域学习容易识别，我们设计了一个时域增强模块并利用辅助信息来互补融合学习，从而构建了一个双层融合框架。主要贡献总结如下：
1. 我们提出了一种用于物联网应用的融合网络，以融合时域、频域和动态频域的信息。该网络包含一个张量融合模块和一个时序增强模块，是根据分层融合方案构建的。
2. 我们提出了一种数据融合算法，通过张量外积融合频域和动态频域特征。在该算法中，我们利用张量分解对融合特征进行低秩近似，这移除了融合特征中的冗余信息，降低了网络的计算复杂度并使其更轻量。
3. 我们提出了一种时序增强方法，以强化对某些容易混淆类别的学习。时序学习输出被作为辅助信息，以避免张量融合和分解过程中对某些特定类别的混淆。

本文其余部分组织如下。第 2 节主要介绍数据融合的相关工作。第 3 节介绍了所提出方法的细节。第 4 节在 HHAR 和 MEM 数据集上进行实验并分析实验结果。最后，第 5 节总结了本文并提出了未来工作的展望。

章节片段
相关工作
数据融合并不是一个全新的研究领域，几十年来一直有所研究。应用涉及目标识别和跟踪 [18]、空间监测 [19]、雷达跟踪 [20]、遥感 [21]、[22] 等。特别是，物联网应用在成果中占主导地位。多样化传感器的部署促进了从多视角观察目标。融合多样化传感器的数据可以优于单一视角、模态或域的数据 [23]。

提出的双层数据融合
所提出的双层数据融合（BDF）框架由三个组件组成：特征学习模块、张量融合模块和时序增强模块，如图 1 所示。原始数据（和分别是原始数据的长度和维度。）被转换到频域和动态频域，同时与时域数据一起构建多域数据。通过对原始数据的学习，时域、频域和动态频域的特征，，是

实验
不同域的特征可以相互补充，这是数据融合方法的一个优势。本节将验证 BDF 相比单域神经网络和其他经典方法的优越性，并对所提出的模型进行消融实验以验证每个模块的功能。

结论
在本工作中，我们提出了双层数据融合（BDF），一种用于物联网应用分类任务的新型多域融合模型。BDF 采用了集成 CNN 和 GRU 的特征学习模块，以充分提取不同域的时空特征，弥补了仅使用单一域的信息损失。对于多域特征融合，BDF 引入了一种低秩近似张量融合方法，以缓解冗余特征的混淆并提高分类准确率

CRediT 作者贡献声明
卢南南：撰写 – 初稿，方法论，资金获取。沈鹏飞：验证，软件。赵全：可视化，正式分析，数据管理。钱建生：撰写 – 审阅与编辑，监督。

利益冲突声明
作者声明他们没有已知的竞争财务利益或个人关系，这些利益或关系可能被认为会影响本论文中报告的工作。

致谢
本工作得到了中国国家自然科学基金（编号 62576345 和 62006233）和中国国家科技重大专项（2019YFE 0118500）的资助。

卢南南于 2013 年获得了日本东京早稻田大学的博士学位。她目前是中国矿业大学信息与控制工程学院副教授。她的研究兴趣包括数据融合、深度学习、信号处理和数据挖掘。

卢南南 | 沈鹏飞 | 赵全 | 钱建生
中国矿业大学信息与控制工程学院，中国徐州，221116