《Sensors》：A Permutation-Invariant, Missing-View-Aware Multi-Perspective Recurrent Neural Network Cell for Time-Series Fusion
编辑推荐：
多源数据的循环模型必须整合同步数据流，同时在数据源被重新排序或不可用时仍保持可用。多视角长短期记忆（multi-perspective long short-term memory, MP-LSTM）单元跨视角更新联合记忆，但顺序更新可能使结果依赖于数据源顺序
多源数据的循环模型必须整合同步数据流，同时在数据源被重新排序或不可用时仍保持可用。多视角长短期记忆（multi-perspective long short-term memory, MP-LSTM）单元跨视角更新联合记忆，但顺序更新可能使结果依赖于数据源顺序。研究人员实现了一个广义链式比较器，并用共享投影和基于可用视图的集合注意力替代其逐视角链式结构。所有实验均使用UCI日常与运动活动（Daily and Sports Activities, DSA）数据集的一个固定、受试者独立的划分，以受试者7和8作为两个留出测试参与者。在该划分上，所提出的单元比比较器少用66.0%的参数，记录的训练时间缩短41.5%。在一个固定的720段、种子0测试子集上，其推理时准确率在八次随机视图置换下保持75.14%（标准差（standard deviation, SD）为0.00个百分点），而链式比较器从76.39%降至平均值24.67%。在10类任务中，所提出单元在三个训练种子上的平均全视图准确率比比较器低3.53个百分点。循环缺失视图调度将19类任务中五个视图缺失四个时的种子0准确率从17.47%提升至41.41%，而三个种子平均全视图准确率下降3.40个百分点。这些结果刻画了该受控案例研究中顺序不变融合及其鲁棒性-准确率权衡；它们并未确立超出该数据集和留出受试者划分的泛化能力。
一、研究背景与问题提出
人类活动、语音以及许多物理过程通过多个同步数据源进行观测。例如，一个场景可由多台摄像机记录，身体不同部位的运动可由惯性单元捕捉，语音可由并行的声学和视觉信号获取。由于单一数据源无法提供完整描述，有效的表示需要在每个数据源内部捕捉时间结构，同时跨数据源整合互补信息。近年来，多模态集成研究在表示层和决策层展开，传感器级融合还需关注对齐、校准、不确定性和数据源故障等问题。多视角学习则将相关问题表述为跨视角共享信息与视角特有信息之间的关系。
门控循环网络非常适合对齐的时间序列。长短期记忆（long short-term memory, LSTM）引入记忆单元以学习长程依赖，遗忘门改进了连续输入流的处理，双向变体则融合过去与未来上下文。在作为比较器的模型中，每个视角根据自身输入和共享隐藏状态计算输入门、遗忘门、输出门和候选记忆门，随后按固定链式顺序依次应用视角更新。每个视角通过其输出门读取联合更新的记忆，单元输出由聚合得到的隐藏状态构成。
多视角循环融合面临三个实际问题：许多公式假设固定数量的视角和特征维度，这阻碍了跨传感器配置和输入模态的迁移；顺序更新使学习到的表示对数据源索引敏感，重排相同输入可能改变输出；不完整观测常通过临时掩码或特定数据源插补处理，循环模型缺乏在视角不可用时维持联合表示的通用规则。
二、研究内容与主要结论
研究人员实现了一个多视角循环单元，并将其扩展以处理数据源顺序变化和缺失视图。该单元将视角级参数替换为共享投影，使门控计算具有置换等变性；通过集合注意力操作合并各视角的候选更新，其查询为当前联合记忆；在公共传感器数据集上采用统一的受试者独立协议评估缺失视图掩码和逐一留出视角消融；并增加循环缺失视图调度和缺失感知验证，在不重新引入数据源特定参数的情况下部分恢复严重缺失视图的性能差距。
研究结论表明，该单元在确定性推理时对视图置换完全不变，且比广义链式比较器更小。循环缺失视图调度在10类任务中将种子0四视图缺失准确率提升12.66个百分点，在19类任务中提升23.94个百分点，而三个种子平均全视图准确率分别下降2.53和3.40个百分点。这些发现确立了所实现的置换不变性质，并量化了循环训练后严重缺失视图性能的可测但非完全的恢复。增益伴随评估划分上较低的全视图准确率，广义链式比较器在严重缺失视图下仍更强。
三、关键技术方法
研究采用UCI DSA数据集，包含五个身体佩戴Xsens MTx单元采集的惯性及磁力测量数据，每个单元贡献九个通道，样本为125行×45通道矩阵，五个身体佩戴单元被视为同步视角。主要比较使用前10个活动类别，完整扩展使用全部19个类别。每个样本均匀降采样至32帧，传感器通道使用训练集统计独立归一化。采用受试者独立划分，受试者1–4用于训练，5–6用于验证，7–8用于测试。所有序列模型共享隐藏大小64、每视角输入维度9、五个视角、批量大小128、AdamW优化器、余弦学习率衰减、权重衰减、15个轮次、分类头dropout 0.2，以及十个模型初始化/训练种子。方法核心包括：广义链式比较器保留逐视角记忆更新和LSTM门结构，为每个视角使用独立循环投影，支持任意视角数和掩码，平均输出存在视角的结果；稳健MP-LSTM单元则共享所有视角的输入投影、隐藏状态投影、偏置和窥视孔参数，通过共享门输出形成局部候选更新，再经三个共享线性投影和掩码softmax集合注意力聚合，全局遗忘门和输入门取存在视角门的均值，每个视角通过输出门读取联合记忆。
四、研究结果
全视图测试准确率：相对于广义链式比较器，稳健单元使用66.0%更少的参数（65,534对比192,906），记录训练时间缩短41.5%（96.4秒对比164.9秒）。平均准确率比链式比较器低3.53个百分点，比早期拼接低4.89个百分点，稳健模型在三个种子上变化更大。
准确率-效率与组件消融：所提出配置达到69.66%平均准确率（SD 3.85%），65,534个可训练参数。移除输入跨视角注意力使平均值降至69.47%，用均值替代注意力候选聚合则降至66.87%。稳健单元批量一前向延迟中位数114.74毫秒，吞吐量8.62样本/秒，而顺序比较器为181.75毫秒和5.50样本/秒。
视图顺序鲁棒性：在720段子集上，重新分配数据源张量使链式比较器准确率下降51.72个百分点。随机置换训练恢复部分鲁棒性，但固定顺序准确率降至65.56%，置换试验SD为1.03个百分点。稳健单元保持75.14%，SD为0.00，因为视图顺序不进入其确定性更新。
缺失视图鲁棒性：一个视图缺失时，稳健单元比全视图准确率损失5.61个百分点；两个缺失时保留60.36%，即全视图准确率的80.3%；五个视图缺失四个时准确率降至36.65%，高于10类平衡任务的10.0%随机水平但低于顺序基线。链式比较器在此基准下缺失视图更稳定。
逐一留出视角可解释性：稳健单元平均逐一留出视角准确率69.25%，比链式比较器低1.08个百分点。其跨移除传感器描述性范围7.50个百分点，比较器为11.94。稳健单元最低为移除躯干时64.03%，比较器最低为移除左腿时62.36%。
循环缺失视图调度与19类扩展：循环调度使10类任务四视图缺失准确率从36.65%升至49.31%，三个种子平均全视图准确率从70.19%降至67.67%。19类任务中四视图缺失准确率从17.47%升至41.41%，三个种子平均全视图准确率下降3.40个百分点。单种子语境运行中，比较器在一个视图可用时保留67.74%，调度模型为41.41%。
受试者级与类别平衡诊断：10类任务中，链式比较器受试者7准确率84.11%/宏F1 81.03%，受试者8为64.00%/60.12%；稳健单元分别为74.50%/69.06%和65.89%/60.60%。19类扩展中，稳健全视图种子0模型受试者7达79.50%/76.45%，受试者8为80.03%/77.33%，循环模型分别为74.62%/71.72%和78.13%/75.52%。
五、讨论与结论
实验区分了三种鲁棒性形式：所提出的确定性评估映射按构造具有置换不变性；所有评估模型接受静态数据源掩码，稳健单元在单视图移除训练下比链式比较器在移除两个或更多数据源时退化更快，循环调度恢复部分差距；逐一留出分析识别每个训练模型最严重的移除。共享投影移除了链模型可用于特化的位置特定参数。当数据源身份稳定且信息丰富时，顺序敏感模型可能更优；所提出架构面向输入顺序任意或不稳定的系统。
研究使用一个数据集、一个固定受试者划分和两个留出测试参与者，结果描述该受控案例研究而非一般总体。每参与者多个段不能替代独立受试者，三个训练种子刻画优化变异性而非总体不确定性。未来工作应使用参与者级重采样或重复受试者留出折、至少10个训练种子、忠实原始代码比较器、组件消融、校准不确定性和独立数据集。研究实现了置换不变、缺失视图感知的循环融合单元，在受控案例研究中评估，确立了实现的不变性质并量化了循环训练后严重缺失视图性能的可测但非完全恢复。
