MPSANT:一种新颖的多投影自注意力神经塔克分解模型,适用于高维和不完整数据表示的学习

《TRENDS IN FOOD SCIENCE & TECHNOLOGY》:MPSANT: A Novel Multi-Projection Self-Attending Neural Tucker Factorization Model for High-dimensional and Incomplete Data Representation Learning

【字体: 大 中 小 】 时间:2026年05月05日 来源:TRENDS IN FOOD SCIENCE & TECHNOLOGY 15.4

编辑推荐:

  重庆西南大学计算机与信息科学学院,400715,中国摘要智能系统的可靠性在很大程度上取决于高维时空数据的有效融合。然而,不可避免的传感器故障常常导致观测数据稀疏,从而产生信息空洞,影响下游的决策过程。现有方法在学习过程中往往无法保留异构交互模式的内在多样性。为了解决这一瓶颈,我们

  
重庆西南大学计算机与信息科学学院,400715,中国

摘要

智能系统的可靠性在很大程度上取决于高维时空数据的有效融合。然而,不可避免的传感器故障常常导致观测数据稀疏,从而产生信息空洞,影响下游的决策过程。现有方法在学习过程中往往无法保留异构交互模式的内在多样性。为了解决这一瓶颈,我们提出了多投影自注意力神经 Tucker 分解(MPSANT),这是一种专为在高维不完整数据上进行鲁棒表示学习而设计的新颖多视图模式感知融合方法。该方法基于三个核心思想:(1)使用神经 Tucker 层进行跨模式潜在融合,同时保持数据的多维特性;(2)引入多投影自注意力机制,通过将潜在交互向量投影到多个子空间中来捕获高阶相关性,从而将异构的时空依赖关系明确分解为细粒度的表示;(3)利用基于 SwiGLU 的前馈网络通过门控变换选择性地融合子空间信息,生成用于决策的统一表示。在代表多样化真实世界场景的八个数据集上进行验证后,MPSANT 表现优于现有的最先进方法。实验结果证实了该模型能够从稀疏观测数据中捕获复杂的相关性,使其成为提升实时智能控制策略数据质量的可靠解决方案。

引言

现代智能系统基于连续的、数据驱动的决策机制运行,严重依赖于来自异构传感器网络的大规模数据流的聚合与融合 [1]。无论是在智能城市 [2]、工业物联网 [3] 还是自主监控 [4] 中,这些系统的有效性都取决于底层数据基础的完整性。然而,现实世界的传感器部署很少是完美的。信息融合流程经常因数据稀疏和损坏而受损,导致信息空洞,这些空洞会向下游逻辑传播错误 [5]。这种挑战的一个典型例子是智能交通系统(ITS)。尽管 ITS 配备了多样化的 sensing 基础设施——从环形检测器和摄像头到 GPS 和自动收费系统——但 ITS 网络经常遭受硬件故障、通信延迟和维护中断的影响。这些中断会导致整个空间走廊或时间段内出现缺失值。如果这些问题得不到解决,就会降低多源融合的质量,从而导致模型训练有偏差,控制策略不可靠 [6]。因此,准确的高维不完整数据表示学习是实现鲁棒智能服务流程的基本前提。
为了有效描述这些智能系统中的复杂动态,数据测量结果可以自然地组织成高阶多维结构,在数学上表现为张量 [7]。例如,在 ITS 的背景下,城市流动性需求可以表示为起点-终点-时间张量 [8],而道路交通状态则结构化为传感器-日期-时间张量 [9]。采用这种多方位表示对于信息融合至关重要。它严格保留了不同维度之间的内在高阶相关性,如空间网络拓扑与时序周期性的耦合非线性交互。将这些结构扁平化为低维矩阵的基于矩阵的建模方法不可避免地会破坏这些潜在联系,导致大量信息丢失。通过保持数据的结构完整性,张量建模允许同时捕获复杂的时空依赖关系 [10]。
因此,从不完整观测中学习的挑战最有效地通过张量分解技术来解决,这些技术可以从稀疏条目中重构全局模式,而不会丢弃高阶结构信息 [11]、[12]。传统上,这些方法利用张量分解(如典范多项式分解 [CP] [13] 和 Tucker 分解 [14])来利用全局周期性模式和局部平滑性 [15]。为了有效处理稀疏观测数据,张量潜在分解(LFT)方法提出了基于密度导向的原则,包括单一潜在因子依赖 [16] 和交替方向法 [17] 等机制。这些方法还经常结合时间平滑 [18] 或自回归方法 [19] 来捕捉时间动态。虽然这些方法对于捕获基本的结构一致性有效,但它们主要假设潜在因子之间存在线性相关性,这限制了它们对复杂系统中呈现的复杂时空交互的建模能力。
为了克服线性的局限性,最近的研究将重点转向张量神经网络,这些网络将张量分解与非线性操作或神经架构(如 Sigmoid 激活或循环结构)结合起来。通过超越静态线性张量操作,这些方法在建模复杂的非线性时空相关性方面表现出 promising 的性能,特别是在具有复杂空间拓扑或长期时间依赖性的现实世界系统中 [20]、[21]、[22]。例如,Wu 等人开发了一种基于循环神经网络的张量分解模型,用于精确的动态模式分析,以提高交通流预测的准确性 [23]。
在现有的张量神经网络中,神经 Tucker 分解 [24] 在通过多模式映射观测结果到潜在特征交互方面展示了有希望的潜力。然而,其初始设计将所有可能的跨模式交互视为一个整体。这种处理方式掩盖了不同的潜在行为,从而无法捕捉时空模式的内在多样性。揭示这些多方面的动态对于准确建模不同环境中的内在模式变化至关重要。
为了完全捕捉复杂的跨模式潜在交互模式,我们提出了一种新颖的多投影自注意力神经 Tucker 分解(MPSANT)模型。我们的设计建立在神经 Tucker 分解 [24] 和基于注意力的机制 [25]、[26] 的基础上,采用了三个核心思想:
  • 1.
    用将跨模式潜在特征交互投影到多个低维子空间中的方法替换神经 Tucker 分解中的单一线性映射,以分离不同的时空动态;
  • 2.
    通过设计的外积运算构建秩一交互矩阵,显式量化每个子空间中的特征相关性;以及
  • 3.
    集成基于 SwiGLU 的门控机制,以适应性地放大显著的子空间时空特征,并减轻在多个子空间中学习过程中产生的冗余。
我们基于八个真实世界数据集的全面实证研究,旨在做出以下贡献:
  • 1.
    一种高效的多视图模式感知融合方法,能够在多个子空间中分离复杂真实世界场景的时空多样性;
  • 一种新颖的多投影自注意力机制,能够全面捕捉潜在因子之间的高阶相关性,形成异构的非线性时空交互模式;以及
  • 3.
    一种有效的潜在交互学习模块,能够适应性地融合子空间信息,以实现丰富的表示。
本文的其余部分安排如下。第 2 节概述了初步内容和问题定义。第 3 节详细介绍了提出的 MPSANT 模型。第 4 节介绍了实验设置和结果的综合分析,第 5 节则提出了结论和未来展望。

章节片段

符号说明

表 1 总结了本研究中使用的所有关键数学符号和符号。

问题定义

如引言中所讨论的,交通系统中的时空观测通常具有高维性和稀疏性。此外,不同的交通场景展现出多样的复杂时空纠缠。因此,本研究特别关注交通插补任务,以调查我们提出的方法在时空表示学习方面的有效性

整体架构

鉴于需要建模任何特定系统中张量数据的多样动态,我们通过引入多投影机制扩展了 NeuTucF 的原理。我们提出了多投影自注意力神经 Tucker 分解(MPSANT),这是一种新型模型,它将跨模式潜在特征交互投影到多个低维子空间中,并应用自注意力来学习不同的子表示,从而实现对异构时空的精确建模

数据集

我们在八个基准数据集(分别标记为 D1–D8)上评估了所提出的 MPSANT 模型的性能。为了在 4.2.3 中模拟随机缺失数据场景,我们在数据划分过程中应用了随机抽样。对于数据集 D1、D2 和 D5-D8,数据被划分为训练集、验证集和测试集,比例为 1:2:7。然而,D3 和 D4 的原始数据已经表现出极高的稀疏性。如果应用这个标准比例,数据密度将会低于 1%。

结论

在这项工作中,我们提出了用于高维不完整数据表示学习的多投影自注意力神经 Tucker 分解(MPSANT)模型。通过将高效的多视图跨模式潜在融合策略引入神经 Tucker 分解,MPSANT 有效地建模了时空交互的结构多样性。设计了一种新颖的多投影自注意力(MPSA)机制,以捕获内在的高阶相关性,使模型能够

手稿准备过程中生成式 AI 和 AI 辅助技术的声明

在准备这项工作时,作者使用了 Google Gemini 来完善写作。使用该工具/服务后,作者根据需要审查和编辑了内容,并对已发表文章的内容负全责。

未引用的浮点数

图 6。

CRediT 作者贡献声明

Peng Tang:写作——审稿与编辑、可视化、验证、方法论、调查、资金获取、概念化。Yikai Hou:写作——初稿、可视化、验证、软件、方法论、数据管理、项目监督、调查、资金获取、概念化。Xin Luo:写作——审稿与编辑、监督、资源管理、项目协调、调查、资金获取、概念化。

利益冲突声明

作者声明他们没有已知的可能导致本文所述工作受到影响的财务利益或个人关系。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号