潜在有界阶数交互作用注意力（Latent Bounded-Order Interaction Attention）

《Neurocomputing》：Latent bounded-Order Interaction attention

　　

• •
  对于固定的m $$ 4，受限标量空心积误差随1/budget$$衰减
• •
  受限定理并不能完全描述非线性LBOIA头部。
• •
  回顾性分析纠正了692个源受限的配对对比。
• •
  混合精度和测量成本限制了实际的排序优势。
• •
  路由控制不能证明乘法的因果效益。

引言

集合预测需要一个聚合规则，该规则在保留与目标相关的信息的同时，也要尊重输入表示。潜在的有界阶交互注意力（LBOIA）通过将元素路由到一组固定的向量值桶中，并在其表示之间构建乘积来解决这一设计问题。其核心操作是一个潜在的多项式交互记忆，随后是注意力和残差处理。这里，有界阶指的是原始记忆中不同桶因素的最大数量；它并不限制非线性预测器的多项式度。该模型不执行包含-排除转换，不估计规范莫比乌斯系数，也不强加容量单调性。

深度集合通过逐元素编码器、求和和读出器来表示一个不变函数[1]。基于注意力的集合模型提供了表示之间的学习聚合和交互[3]。这些模型的交互结构取决于它们的非线性映射、深度和保留的输入信息，以及它们的聚合原语。特别是在一个固定的有限宇宙中，标量实数值求和可以是单射的。连续域宽度限制[2]在没有这些假设的情况下不能转移到那个有限设置中。

因此，一个更有用的问题是：给定一个编码器和一组可接受的解码器，预测器可以使用什么信息和交互特征？对于一个固定的统计量，条件方差是经典的最小平方预测误差。从同一统计量计算出的确定性交互特征不能减少该无限制解码器的最小值。然而，它们可以改变受限解码器类内的近似，或者改变与编码器共同学习的表示。LBOIA中的残差令牌路径进一步防止将桶表示视为预测器可用的完整信息。

一组小的潜在桶支持包含一个到$$个因素的交互记忆。查询条件下的读出将那些记忆返回到令牌表示。这与对每个输入元组的显式交互不同，并且将桶的数量与呈现的元素数量分开。它还创建了特定的成本和限制：内存令牌的数量随桶的数量和阶数呈组合增长，不同的桶索引可以从同一个原始元素接收贡献，非线性处理意味着$$不是最终预测的多项式度。

结构优势在于显式的、分解的特征计算。在其非线性记忆映射之前，每个坐标都是仿射池化统计量的乘积。扩展相等的输入索引可以将其精确表示为基于基数加权的可分离元组核，包括重复输入的对角项（附录E.4）；实现评估池化乘积而不需要枚举这些输入元组。潜在记忆的数量由$$和$$控制，令牌到内存的注意力仍然取决于输入大小。这确定了设计提供的特征和计算，而不是超出可用统计量的额外信息、完整模型的效率优势或准确拟合的保证。因此，桶乘积不能解释为分子交互。

我们首先区分信息损失和字典或解码器施加的限制，然后研究了一个压缩的标量模型，在该模型中所有输出任务共享一个标准化的路由器。对于独立的布尔星形目标，不同的潜在乘积需要增加输出系数的范数，以便在临界宽度时接近零误差。我们给出了一个在整个路由简单形上有效的下界，并为每个固定的目标数量$$和标量桶提供了一个具有相同逆平方指数的显式构造。一个共同的轨迹证书结合系数预算身份提供了定量步骤；无论是有 injectionivity 论证还是完整的多项式基础，都无法提供该速率。没有假设逆路由矩阵有统一的界限。结果仅限于标量、输入独立的路由和线性二次读出；它没有为LBOIA建立优势。包含平方的等大小字典避免了这些目标的障碍。

二阶的平均观测误差比一阶低，对规定的立方目标的加性控制也是如此，而CP更强。在整个队列配体加序列研究中，二阶的联合头部平均值和RMSE都低于CP，在所有五对中都是如此，但每个联合输入平均值都比只有配体的对应值差。原始的顺序对比在回顾性校正后仍然不确定。原始的GCN控制通常更倾向于简单的求和或CP头部；在所有五次重复中，均匀路由的二阶RMSE低于学习到的路由。这些观察结果涉及记录的数据、拟合和验证选择程序。测量的成本和不平等的参数预算限制了它们的实际解释。它们既没有建立一致的乘法优势，也没有提供预测哪些数据集会受益的标准。

第2节发展了数学公式及其理论范围。第3节指定了架构和比较器操作符。第4节报告了实验结果，第5节讨论了它们的含义和限制。附录A提供了共享解码器系数预算定理的证明，附录B提供了输入噪声后果的定量证明。

章节片段

相关工作

深度集合的求和分解[1]和Wagstaff等人的连续域限制[2]涉及在指定输入和规则性假设下的表示。Set Transformer引入了基于注意力的集合编码和池化，包括诱导点构造[3]。Janossy池化平均了对排列敏感的函数，并为受限元组顺序和采样实现提供了框架[4]。LBOIA则在路由到潜在桶之后构建元组。

输入表示和主干编码器

对于一批$$个示例，最多有$$个令牌位置和表示宽度，让包含令牌表示，并让标记有效令牌。主干与池化头部一起进行训练。集合实验使用没有位置信息的共享令牌映射。图实验还提供了到等变GCN、GAT或指定对偶张量架构的键邻接。序列实验添加了位置嵌入；相对于这些位置的值排序可以

评估协议和统计报告

实验评估了在有限集合目标、奇偶性、层次序列和分子亲和预测上实现的LBOIA头部。它们比较了交互顺序、替代池化操作符、路由和读出组件以及计算成本。这些实证比较与第2.5节分析的标量函数类是分开的。报告的指标是从保存的预测中计算得出的。

每个神经程序评估学习率和。AdamW应用了权重衰减到

讨论和结论

LBOIA在潜在路由后构建和查询有界阶交互。其分析区分了由编码器保留的信息、解码器类内的近似以及由联合训练的非线性模型进行的预测。确定性乘积可以在不向输入统计量添加信息的情况下扩大小限解码器；残差令牌访问进一步改变了完整头部可用的信息。

系数预算定理量化了一个共享的标量限制

资金

这项研究没有获得特定的资金。

利益冲突声明

作者声明他们没有已知的竞争财务利益或可能影响本文工作的个人关系。

Jih-Jeng Huang是台湾成功大学的教授。Huang在国立台湾大学获得了信息管理博士学位。Huang的研究兴趣包括神经网络、模糊积分和模糊度量。