摘要
大多数神经架构将时间建模为一维实数变量,将时间推理限制在沿单一轴的序列传播上。我们提出了复杂时间神经网络(CTNN),这是一种新的架构类型,在这种网络中,时间坐标是复平面 T = t + iτ ∈ ? 的元素,其中 Re(T) 保持时间顺序,Im(T) 编码了一个正交的体验维度。在这种几何结构中,Im(T) < 0 定义了一个用于回顾性检索的记忆域,Im(T) = 0 对应于当前时刻的计算,而 Im(T) > 0 定义了一个用于前瞻性投影的想象域。我们证明了表达式分离定理(定理1),该定理表明,在时间耦合函数类 GTCP 中,并在明确假设 A1–A4(特别是有界投影假设 A3)的前提下,CTNN 可以以 Ω(Δ1 + Δ2) 的序列步骤。对于分层组合,在假设 A1–A4 的条件下,GTCP 中会出现指数级的组合差距。这些优势在所提出的假设下成立,但可能不直接适用于更广泛的函数类或无法维持假设 A3 的大规模环境。因此,定理 1 为 GTCP 提供了一个形式上的分离结果,而 CTNN 更广泛地定义了一个时间计算的几何框架。作为这一框架的第一个具体实现,我们开发了复杂时间卷积神经网络(CTCNN)。CTCNN 在 Something-Something V2 任务中取得了最先进的性能(70.2 ± 0.4%,比 VideoMAE v2 高出 1.1%,p < 0.01),在 Kinetics-400 任务中表现优异(78.4 ± 0.3%),并在 Long Range Arena Path-X 任务中获得了显著提升(87.3% 对比 79.6%,提高了 7.7%),同时使用的参数数量仅为 VideoMAE v2 的 1/3.4。可学习的角参数 α 和 β 提供了与内存访问范围和前瞻性宽度相关的、在任务家族中系统变化的计算可解释参数。


