基于循环帧预测中定点正则化的潜在空间重组织

《Electronics》：Latent Reorganization by Fixed-Point Regularization in Recurrent Frame Prediction

　　

正则化可以通过约束模型如何使用其内部表示来改善泛化能力。在本文中，研究人员探讨了在训练期间对最终LSTM(Long Short-Term Memory)隐藏状态施加代数定点约束是否能够重组织循环潜在空间并改善留存帧的预测。研究人员没有修改推理阶段的架构，而是引入了四种训练阶段的算子：GlobalHouseholder（反射）、GlobalGivens（旋转）、Composition（组合）和Lie Algebra（李代数），这些算子在不改变解码器路径的情况下，将隐藏状态偏向于几何结构化区域。在四个数据集（室内机器人序列、KITTI驾驶、Flying Shapes 2D和Moving 3D Shapes）上的实验表明，轻量级约束持续改善了结构化场景上的预测，其中GlobalGivens在留存的室内序列上比无约束基线实现了高达+1.04 dB的PSNR(Peak Signal-to-Noise Ratio)和-11.3%的MAE(Mean Absolute Error)提升。潜在空间分析显示，泛化能力最好的算子并不是那些压缩表示最激烈的算子，而是那些在保持广泛维度参与的同时重新分配潜在能量的算子。Lie Algebra尽管将激活方差降低了81–96%，但在潜在扰动下表现出退化，且在结构化数据集上无法匹敌较轻的算子，这确定了过度约束是一种明显的失败模式。这些结果表明，循环瓶颈的几何正则化可以作为一种有用的训练阶段先验，而不会增加任何推理开销。

深度学习在计算机视觉和相关电子设计任务中的成功常归功于其学习丰富内部表示的能力，这与流形假设相一致，即高维观测通常集中在低维几何结构附近。利用对称性等几何属性作为归纳偏置可以改善表示学习。在现有的下一帧预测方法中，通常通过增加架构容量（如更强的循环单元、注意力机制等）来提升性能，但这些方法没有隔离最终潜在状态本身的作用。虽然存在利用正交循环网络和群等变网络在空间特征图上施加代数约束的方法，但研究人员旨在直接规范循环瓶颈的几何结构。为了研究潜在几何结构，研究人员开展了基于代数定点正则化的循环帧预测研究。研究结果表明，将几何正则化应用于循环瓶颈可以作为有用的训练阶段先验，且不增加推理开销。该研究强调了潜在空间重组织而非维度压缩的重要性，这篇论文发表在《Electronics》上。

在主要关键技术方法方面，研究人员构建了一个受控的编码器-循环-解码器架构，由3D CNN(Convolutional Neural Network)编码器、单层LSTMCell、训练阶段算子块、无跳跃连接解码器和预测头组成。该架构作为识别设置，确保所有传递给解码器的信息必须严格遵守单一平坦循环瓶颈。样本队列来源于四个数据集：涵盖大学建筑走廊和电梯等室内RGB视频的Indoor Buildings数据集、KITTI驾驶数据集以及合成的Flying Shapes 2D和Moving 3D Shapes数据集。研究引入了四种代数算子施加定点约束，并采用香农熵、Dims@90、有效秩和激活方差四种潜在结构指标，结合L1重建损失进行评估，以诊断潜在能量的重组织情况。为保持对比受控，还引入了ConvLSTM-cell作为循环单元消融参考。

在研究结果方面：
重建质量：通过PSNR、SSIM(Structural Similarity Index Measure)、LPIPS(Learned Perceptual Image Patch Similarity)和MAE评估重建质量。研究发现，定点正则化的效果具有数据集和算子依赖性。在结构化的室内场景中，GlobalGivens显著改善了各项指标。配对Wilcoxon符号秩检验证实，在具有强图像平面规律性的数据集中，轻量级代数约束带来了最明显的重建益处；而在缺乏一致规律性的KITTI和存在3D视点变化的Moving 3D Shapes数据集中，由于像素空间规律性被破坏，改进较为有限。

潜在空间重组织：通过检查各算子如何改变最终循环瓶颈状态，研究发现较轻的算子通常保留或拓宽了活跃的潜在维度参与。Householder、Givens和Composition在维持或增加Dims@90的同时避免了强烈的激活方差坍缩，这表明有用的正则化器并非简单压缩潜在状态，而是在保持广泛参与的同时重新分配潜在能量。散点图证明更好的预测并不总是发生在更低维度的情况下，从而将潜在重组织与维度压缩区分开来。

潜在扰动鲁棒性：通过施加高斯噪声测试潜在组织的稳定性。较轻的算子在扰动下仅出现轻微退化，而Lie Algebra由于将激活方差抑制超过80%，表现出强烈的浓度集中，在噪声扰动下退化最为严重。这表明过度集中使表示变得脆弱而非鲁棒。

跨数据集一致性与解释：总结算子在各数据集上的方向性行为，发现最可靠的定点正则化器并非压缩潜在状态最强烈的算子，而是那些在保持足够活跃容量的同时重新组织潜在表示的算子。当施加的算子过强或与数据几何匹配不良时，会导致过度约束的失败模式。该研究受限于无跳跃连接的平坦瓶颈设置，虽使用潜在代理指标而非直接互信息估计，但提供了潜在重组织的有力经验证据。

在结论部分，研究人员总结指出，本研究将定点正则化作为循环帧预测的训练阶段几何先验。结果表明，留存预测的改善并非由激进的潜在压缩解释，最好的算子是那些在重组织隐藏维度使用的同时保留或拓宽活跃潜在参与的算子。Householder和Givens提供了最清晰的支持证据。相反，Lie Algebra虽然实现了最大的激活方差降低（约81–96%），但未能转化为最可靠的重建行为，并伴随着对潜在扰动的高敏感性，被确认为过度约束的失败模式。这些发现表明，轻量级代数约束在场景结构与施加几何相容时是有用的训练先验，但并非普遍改进机制。未来的研究需通过多种子训练运行量化训练变异性，并探索将定点潜在正则化扩展至状态空间和多任务架构。