摘要
大多数神经架构将时间建模为一维实值变量,将时间推理限制在单一轴上的顺序传播。我们提出了复杂时间神经网络(CTNN),这是一种新的架构类别,在这种架构中,时间坐标是复平面 T = t + iτ ∈ ? 的元素,其中 Re(T) 保持时间顺序,Im(T) 编码了一个正交的体验维度。在这种几何结构中,Im(T) < 0 定义了一个用于回顾性检索的记忆域,Im(T) = 0 对应于当前时刻的计算,而 Im(T) > 0 定义了一个用于前瞻性预测的想象域。我们证明了表达式分离定理(定理1),该定理表明,在时间耦合函数类 GTCP 中,并且在明确假设 A1–A4(特别是有界投影假设 A3)下,CTNN 访问时间耦合函数的成本与时间距离 Δ1, Δ2 相关,为 O(1);而实时架构则需要 Ω(Δ1 + Δ2) 个顺序步骤。对于分层组合,在假设 A1–A4 下,GTCP 中存在指数级的组合差距。这些优势在所提出的假设下成立,但可能无法直接推广到更广泛的函数类别或大规模环境中,因为在这些环境中无法维持假设 A3。因此,定理 1 为 GTCP 提供了一个形式上的分离结果,而 CTNN 更广泛地定义了一个时间计算的几何框架。作为这一框架的第一个具体实现,我们开发了复杂时间卷积神经网络(CTCNN)。CTCNN 在 Something-Something V2 上取得了最先进的性能(70.2 ± 0.4%,比 VideoMAE v2 高出 1.1%,p < 0.01),在 Kinetics-400 上表现优异(78.4 ± 0.3%),在 Long Range Arena Path-X 上也有显著提升(87.3% 对比 79.6%,高出 7.7%),并且使用的参数数量是 VideoMAE v2 的 1/3.4。可学习的角度参数 α 和 β 提供了与内存访问范围和预测广度相关的、在任务家族中系统变化的计算可解释参数。


