SynNeura：基于事件驱动的液体脉冲动态模型，用于弱监督下的多模态时间对齐

《Neural Networks》：SynNeura: Event-Driven Liquid-Spiking Dynamics for Weakly Supervised Multimodal Temporal Alignment

　　**摘要**
多模态时间对齐是音频visual理解、唇读和指令跟随等应用中的关键任务。然而，在弱监督环境下，异步采样、不规则事件触发和粗糙标签等挑战会阻碍精确的跨模态对齐。基于帧的方法依赖于固定的时间网格，在事件稀疏的场景中会导致冗余计算，并降低事件级别的精度。可微时间变形方法通常需要高分辨率输入，从而导致高昂的计算成本和对数字参数的敏感性。为了解决这些挑战，我们提出了SynNeura，这是一个事件驱动的连续时间液体脉冲神经框架，用于在弱监督下实现细粒度对齐。SynNeura将对齐建模为连续时间的潜在状态过程，在事件之间解析地传播状态，并仅在执行脉冲时进行更新。这使得计算复杂度随事件数量而不是序列长度递增。SynNeura引入了分段解析更新方法，使用矩阵指数和迹变量，并在脉冲、轨迹和状态层面上设置了层次化的对比对齐目标，从而增强了鲁棒性和一致性。在AVE、LRS2和YouCook2数据集上的实验表明，SynNeura在对齐准确性、时间一致性和效率方面始终优于基于帧和连续时间的基线方法。在AVE上的MAE为0.291，在LRS2上的CAS为0.713，在YouCook2上的EP/ER分别为0.829/0.794，总体得分为0.738。这些结果显示SynNeura是一个可扩展、可解释且高效的事件驱动多模态时间对齐解决方案。

**引言**
多模态时间对齐旨在建立具有不同时间结构的异构多模态流之间的语义一致的时间对应关系，是音频visual理解、唇读、指令-grounding和机器人学习等应用的基础能力（Baltru?aitis, Ahuja, Morency, 2019; Song, Liu, Huang, 2013; Zadeh, Chen, Poria, Cambria, Morency, 2018）。在现实世界中，多模态信号本质上是异步的、事件稀疏的且采样不规则的，通常伴随着不确定的事件边界和不完整的时间结构（Kidger, Morrill, Foster, Lyons, 2020; Tsai, Bai, Yamada, Morency, Salakhutdinov, 2020）。这些特性给跨模态时间一致性建模带来了重大挑战。在只有粗粒度标签或伪对齐线索的弱监督环境下，学习可靠的事件级对齐在复杂的时间动态中变得尤为困难。现有的时间对齐方法大致可以分为两类范式。第一类是基于离散时间相关结构的隐式对齐方法（Elsayed, Krishnan, Mobahi, Regan, Bengio, 2019; Lim, Ar?k, Loeff, Pfister, 2021; Wu, Xu, Wang, Long, 2021），包括层次序列建模、自相关机制和时间注意力。虽然这些方法在捕捉长期依赖性方面有效，但它们预先离散化了时间，并主要通过隐式相关性来推断对齐，这使得建模由稀疏关键事件主导的时间对应关系变得困难。此外，它们的计算和内存成本通常会随着序列长度的增长而显著增加，限制了长序列的可扩展性。第二类包括基于可微时间变形的显式匹配方法，例如Soft-DTW（Cuturi and Blondel, 2017）。这些方法通过学习连续的变形路径来减轻离散匹配中的不连续性，但通常依赖于密集的时间采样，这在稀疏和异步的多模态环境中会迅速增加复杂性。最近在脉冲神经网络（SNNs）（Deng, Wu, Hu, Liang, Ding, Li, 2022; Fang, Yu, Chen, Huang, Masquelier, Tian, Pfeiffer, 2021; Roy, Jaiswal, Panda, 2019; Tavanaei, Ghodrati, Kheradpisheh, Masquelier, Maida, 2019）和连续时间动态模型（例如Liquid Neural Networks（LNNs）（Hasani, Lechner, Amini, Rus, Grosu, 2021; Hasani, Lechner, Amini, Rus, Grosu, 2022）方面的进展为以事件为中心的时间建模提供了有希望的途径。SNNs以脉冲事件作为基本计算单元，实现了事件触发的状态更新和细粒度的时间对应关系建模。连续时间动态系统明确描述了潜在状态随时间的演化，提供了时间动态和跨模态表示之间的原则性耦合。然而，大多数现有的脉冲模型依赖于简化的积分-发射动态或在离散时间步骤上展开，限制了时间连续性和表达能力。相反，连续时间模型通常依赖于密集时间网格上的数值积分，使其计算成本和数值稳定性对步长选择高度敏感。因此，当前方法难以同时实现强大的表达能力、效率和可扩展性，以适应弱监督下的多模态时间对齐。值得注意的是，连续时间模型和脉冲神经网络分别为不规则序列建模和事件驱动计算提供了有效的工具。然而，直接将SNN编码器与Neural CDE/ODE求解器级联不足以完全解决弱监督多模态时间对齐中的事件级对应关系。关键在于，脉冲事件不应仅仅被视为输入到连续时间求解器的被动数据；相反，它们应该主动决定何时解析地传播隐藏状态以及何时触发不连续的跳跃更新。换句话说，理想的弱监督多模态时间对齐模型应该由跨模态事件的到达来驱动，而不是由预定义的时间网格或密集的数值积分来驱动，从而更好地适应长序列、低采样率和事件稀疏的场景。为了克服这些限制，我们提出了SynNeura。这个事件驱动的液体脉冲神经动态模型将Spike Response Model（SRM）的高时间精度事件表示与液体神经动态的自适应连续时间建模能力相结合。SynNeura将多模态时间对齐建模为一个统一的连续时间脉冲过程：潜在神经状态在稀疏事件之间解析演变，并仅在执行脉冲时进行更新。事件间的演变通过矩阵指数和迹变量允许分段精确求解，从而实现计算复杂度与事件数量成线性关系，而不是与离散时间步骤数量成线性关系。这一特性对于长持续时间、低采样率和高度异步的多模态序列尤为重要。在弱监督下，我们进一步设计了一个层次化的对比对齐目标，在脉冲、轨迹和状态层面施加多尺度约束。这种表述共同捕捉了局部事件对应关系和全局动态轨迹结构，提高了在监督有限且跨模态时间差异显著的场景中的鲁棒性和可解释性。本工作的主要贡献如下：
- 我们提出了SynNeura，一个事件驱动的连续时间框架，用于多模态时间对齐。SynNeura不是简单地将SNN编码器与Neural CDE/ODE求解器级联，而是将弱监督多模态对齐建模为连续时间脉冲动态过程。通过在事件之间进行封闭形式的解析传播并在事件到达时进行稀疏非线性状态更新，SynNeura减少了静默区域中的冗余计算，并在弱监督、低采样率和长序列场景下改善了事件级时间对齐。
- 我们基于矩阵指数和迹变量推导出了一种事件驱动的液体状态推理机制。该机制在事件间隔期间进行封闭形式的解析传播，并仅在事件到达时执行主要的非线性状态更新。因此，它避免了在密集时间网格上的高频数值积分，减少了步长选择的敏感性，并提高了长序列场景中的数值稳定性和推理效率。
- 我们在脉冲、轨迹和状态层面上构建了三层对比对齐目标。这些目标分别约束了局部事件对应关系、全局轨迹一致性和连续状态稳定性，从而在弱监督下促进多个时间尺度上的语义一致跨模态时间对齐。
- 我们在AVE（Tian et al., 2018）、LRS2（Chung et al., 2017）和YouCook2（Zhou et al., 2018）数据集上评估了SynNeura。我们的实验、消融研究和复杂性分析表明，我们的框架在弱监督多模态时间对齐方面提供了强大的对齐准确性、鲁棒性和推理效率。这些结果证实了我们的关键组件的影响：基于事件的编码、事件驱动的液体状态传播和多层次对比对齐目标。

**本文的其余部分组织如下**
首先，我们对多模态时间对齐问题进行了形式化，并介绍了所提出的基于脉冲响应的动态建模方法。接下来，我们推导了对齐约束的液体状态演化，并提出了层次化对比目标。最后，我们分析了SynNeura的计算复杂性和稳定性特性，并报告了全面的实验结果。

**相关工作**
我们将先前的研究分为三个方向：多模态时间对应关系学习、事件驱动和连续时间神经建模以及弱时间监督下的对比学习。我们的工作通过结合事件触发计算和连续时间动态来建模细粒度时间对应关系，特别适用于弱监督和强跨模态异步性。

**问题表述**
多模态时间对齐旨在建立异步和多源序列数据之间的语义一致的时间对应关系。在现实世界中，不同模态往往在采样率和系统延迟或时间抖动方面存在差异。此外，训练阶段通常缺乏帧级别的精确注释，只提供粗视频级别或片段级别的标签或弱对齐线索。给定两个不规则采样的模态序列X={(ti...

**实验**
为了全面评估SynNeura的有效性和泛化能力，我们在多个多模态时间对齐基准上进行了广泛的实验。我们旨在验证所提出的事件驱动建模是否比代表性的基于帧或连续时间的基线实现更高的对齐准确性、更强的时间一致性、更好的可解释性和更高的计算效率。我们还在弱监督下评估了SynNeura，以评估其能力。

**结论**
本文介绍了SynNeura，一个用于弱监督多模态时间对齐的事件驱动液体脉冲神经动态框架。SynNeura将多模态对齐建模为连续时间状态演化过程。异步的多模态事件流通过事件之间的封闭形式解析传播和事件到达时的稀疏非线性更新得到有效建模。这种设计减少了对密集采样和固定时间网格的依赖。

**作者贡献声明**
Zhang Yuping：撰写——原始草稿、验证、数据策划、概念化。
Liu Yan：撰写——审阅与编辑、资金获取。