基于事件的多向径向一致性预训练光流估计

《Frontiers in Neurorobotics》：Multi-way radial consistency pre-training for event based optical flow

　　

光流估计是计算机视觉中的低层模块，广泛应用于视觉里程计、自动驾驶、高动态范围（HDR）成像和动作识别等任务。现有基于事件的光流估计方法面临密集真实世界数据集稀缺的问题，而一些无监督框架通过前后一致性损失减少了对大规模数据集的依赖，但它们主要利用一维时间反转，很大程度上忽略了机器人以及汽车场景中普遍存在的旋转和缩放运动。本研究引入了径向一致性（radial consistency），这是一种自监督预训练框架，将事件流映射到对数极坐标（log-polar coordinates），并将空间域划分为K个径向环（radial rings）和L个角度扇区（angular sectors），通过一个共享编码器-解码器预测四个互补光流场，其循环和趋近于零，从而形成一个闭环约束，将经典的前后一致性检查推广到扇区内的360°。研究人员的核心贡献在于径向一致性损失（radial consistency loss），该损失完全无需标签，结合辅助项，可在大规模事件数据上进行自监督预训练。研究人员可选地在小型标注集上进行有监督微调，以适应特定领域，从而获得与全监督方法相当的精度的竞争性能。在多车立体事件相机数据集（MVSEC）上的验证实验展现了强劲性能：研究人员的方法在所有序列上平均端点误差（EPE）为0.67，超越了E-RAFT（0.89 EPE）和EV-FlowNet（1.10 EPE），且无需额外数据。具体在旋转密集的indoor_flying3序列上，研究人员实现了0.93 EPE（微调后）和1.49 EPE（仅自监督），而E-RAFT为1.66 EPE。研究人员还在计算效率上提升了E-RAFT [每秒帧数（FPS）为55，千兆浮点运算数（GFLOPs）为26，相比之下E-RAFT为42 FPS和38 GFLOPs]，且仅需极少的有监督微调。

**论文解读：基于事件的多向径向一致性预训练光流估计**

**研究背景与动机**
光流估计是计算机视觉中的基础模块，旨在捕捉连续帧间的像素级运动，广泛应用于视觉里程计、自动驾驶、高动态范围（HDR）成像及动作识别。传统方法基于帧式传感器，但帧式传感器受限于毫秒级曝光时间和有限的动态范围，在高速或低光场景中不可避免地引入运动模糊及过/欠曝光。事件相机（event cameras）作为仿生视觉传感器，以微秒级时间精度和对数强度编码输出异步事件流，提供超过120 dB的动态范围和超低功耗，因此被视为解决上述问题的高度合适选择。然而，现有基于事件的光流方法严重依赖合成数据集训练，面临真实密集标注数据匮乏的瓶颈。部分无监督框架通过前后一致性损失（forward-backward consistency loss）减轻了对大规模标注集的依赖，但其仅利用一维时间反转，忽略了机器人和自动驾驶场景中普遍存在的旋转与缩放运动。为此，本研究提出一种自监督预训练框架——径向一致性（radial consistency），通过将事件流映射到对数极坐标（log-polar coordinates）并施加多向循环闭合约束，显式建模旋转与缩放几何，从而在无需人工标注的前提下实现高性能光流估计。

**主要关键技术方法**
研究人员采用如下核心技术：首先，将原始事件流从笛卡尔坐标转换为对数极坐标（log-polar coordinates），并按对数半径划分为K个径向环（radial rings）、按角度划分为L个角度扇区（angular sectors），构建时空事件体（event voxel with dimensions [K, L, B]）。其次，采用轻量级编码器-解码器架构，编码器融合Swin Transformer（Shifted-Window Attention）模块以捕获全局上下文，并引入遮挡感知位置编码（occlusion-aware positional encoding）抑制不可靠区域。解码器包含四个独立且共享编码特征的GRU（Conv-GRU）头，分别预测前向流（forward flow f→）、后向流（backward flow f←）、缩放流（scaling flow f_s）和旋转流（rotation flow f_r）。核心损失为径向一致性损失（radial consistency loss），在每一扇区(k, l)内强制四流场之和为零（f→ + f_s + f_r + f← ≈ 0），同时结合光度一致性损失（photometric loss）、平滑性损失（smoothness loss）和时间一致性损失（temporal consistency loss）构成总损失。模型在MVSEC数据集（多车立体事件相机数据集，Zhu et al., 2018a）的outdoor_day序列上进行两阶段训练：第一阶段为无监督预训练（仅使用事件数据），第二阶段为可选有监督微调（使用小规模标注子集）。

**研究结果**
**4.2.1 Results on MVSEC**
在MVSEC数据集的四个子序列（indoor_flying1、indoor_flying2、indoor_flying3、outdoor_day1）上，研究人员将所提方法与EV-Flownet、Zhu et al.（2019）、STE-FlowNet、Spike-FlowNet、UnFlow、E-RAFT、TMA和BAT等基线对比。结果表明：在Δt=1（稀疏事件）条件下，微调后模型在indoor_flying1上达到0.49 EPE（端点误差），优于E-RAFT（1.10 EPE）；在旋转密集的indoor_flying3上，微调后模型达到0.93 EPE（自监督预训练为1.49 EPE），而E-RAFT为1.66 EPE。在outdoor_day1上，微调后模型EPE为0.46（自监督预训练为0.49），E-RAFT为0.24。需注意，outdoor_day1在极端稀疏事件条件下，有监督方法仍占优势（0.24 vs. 0.46），表明几何约束在事件密度低于0.3/像素时无法完全替代真实标签。在Δt=4（大位移）条件下，所提方法在indoor_flying1上EPE为3.01，优于E-RAFT（2.81）等模型，但BAT表现更优（未报告具体数值）。整体而言，所提方法在MVSEC上平均EPE为0.67（全序列），显著优于E-RAFT（0.89）和EV-FlowNet（1.10）。

**4.2.2 Results on DSEC**
在DSEC-Flow数据集（DSEC数据集的光流子集，Gehrig et al., 2021a）的六个城市序列上，所提方法在无监督模式（UL）下平均EPE为0.70，有监督微调后（SL）平均EPE为0.62，略低于有监督E-RAFT（0.55）。值得注意的是，DSEC-Flow主要包含前向平移运动，相机旋转有限，而E-RAFT的迭代代价体细化在此类场景中尤为有效。所提方法的极坐标扇形划分在旋转和缩放主导的场景中更具优势。

**4.2.3 Cross scene validation**
跨数据集评估（MVSEC、DSEC-Flow、ECD）表明，所提方法平均EPE为1.35（DSEC-Flow）、2.01（ECD）、0.67（MVSEC），均优于EV-Flownet和E-RAFT。

**4.3 Qualitative results**
在MVSEC outdoor_day1序列上的可视化结果表明，所提方法在快速运动和微小位移情形下均能保持精细运动细节，预测流场与真实流场高度一致，尤其在空事件区域经掩码后仍能准确恢复运动。

**4.4 Efficiency analysis**
在RTX-3060 GPU上，所提方法的推理速度为55 FPS，仅26 GFLOPs，峰值内存1.9 GB，参数量4.3 M。相比之下，E-RAFT为42 FPS、38 GFLOPs、2.7 GB，EV-FlowNet为65 FPS、18 GFLOPs、1.3 GB。所提方法在计算效率上优于E-RAFT，且保持更低EPE。

**4.5 Ablation studies**
**4.5.1 Event voxel discretization (K, L, B)**
在默认参数（K=8，L=12，B=9）基础上，研究表明：增加径向环K至16仅降低EPE 4%但计算量增加19%，减少至K=4导致EPE上升18%；角度扇区L=12位于帕累托前沿，L=6增大EPE 8%，L=24导致空事件扇区增加49%；时间箱B=9在精度与计算间最优。默认配置对参数±50%变化不敏感（EPE变化<0.1）。

**4.5.2 Loss function components**
消去径向一致性损失（?_radial）后，AEE飙升至6.36（仅2.90%异常值），表明网络在大部像素上预测近零流而在少数区域产生严重幻觉。移除其他三项损失对精度影响较小，证实?_radial是精度的主要驱动项。

**4.5.3 Statistical robustness across random seeds**
在MVSEC outdoor_day1上，使用五个独立随机种子训练，EPE标准差σ=0.03，异常值率标准差σ=0.21，表明结果稳定且可重复。

**总结与讨论**
作者在讨论部分指出：通过极坐标扇形划分实现的几何自监督显著提升了基于事件的光流精度，在MVSEC上达到0.67 EPE（较E-RAFT降低25%）。极坐标变换将旋转和缩放线性化为角度与径向的平移，从而施加360°循环闭合约束，这与忽略几何结构的帧式方法形成对比。所提方法以55 FPS、26 GFLOPs运行（E-RAFT为42 FPS、38 GFLOPs），适用于资源受限平台。但研究也承认三个实际失效模式：纹理缺失区域（天空/墙面产生零流幻觉）、突然光照变化（隧道出口破坏平滑性）、非刚体运动（变形物体打破旋转/缩放假设）。主要局限性在于：（1）训练过程中无真实光流，无法区分混淆运动模式；（2）易对虚假亮度变化（如移动云影、投射阴影）作出反应，而非真实物体运动。未来工作将融入语义分割或物体识别预处理，或融合多传感器模态以提供更丰富监督信号。

**研究结论**
研究人员提出径向一致性（radial consistency）这一自监督框架用于基于事件的光流估计，通过极坐标扇形化编码旋转与缩放几何。用360°多向循环约束替代传统前后一致性检查，实现了：（i）无需额外数据达到无监督最优性能（MVSEC上0.67 EPE，对比有监督E-RAFT的0.89 EPE）；（ii）高效率（RTX-3060上55 FPS、26 GFLOPs）；（iii）通过极小量有监督微调实现标签效率。这些结果表明几何先验对于基于事件的视觉至关重要。事件相机的微秒级时间分辨率实现了超越帧式能力的光流建模；本方法在敏捷机器人和自动驾驶中有直接应用价值。