暗场景神经形态成像在人体姿态估计中的应用

《Photonics》：Dark-Scene Neuromorphic Imaging for Human Pose Estimation

　　

神经形态成像传感器（event cameras，事件相机）为极端光照条件下的计算成像与人体姿态估计（Human Pose Estimation，HPE）提供了颇具前景的范式。然而，源自光电二极管暗电流与电路热噪声的暗场景背景活动（Background Activity，BA）以及热像素噪声严重污染事件流，阻碍低光场景下可靠的HPE。针对该问题，研究人员提出一种基于时空高斯加权邻域模型与动态阈值机制的自适应事件去噪框架，可在抑制BA与热像素噪声的同时保留对姿态估计至关重要的边缘与运动细节。利用该去噪前端，研究人员通过将预训练的MediaPipe模型迁移至基于事件的时表面（time-surfaces）上，构建了完整的暗场景神经形态HPE流水线。在公开与自采集数据集上的定量与定性评估表明，该方法优于现有最优去噪方法，在公开基准上提升超20%，在自采集暗场景数据上提升超30%。研究人员期望该工作为推动通过鲁棒神经形态姿态估计实现可靠暗场景人机交互奠定基础。

研究背景方面，暗场景计算成像在现代视觉感知中至关重要，涵盖夜视、低照度运动检测与微光监控等应用。人体姿态估计作为以人为中心视觉任务的核心，在智能监控、运动分析与人机交互中不可或缺。然而标准同步视觉传感器受帧积分范式制约，长曝光致运动模糊、短曝光致低光盲视，且CMOS动态范围约60 dB，在高对比度场景易过饱和或欠饱和，安全关键场景（如人机交互）中暂态感知丢失会破坏控制回路。神经形态事件相机以微秒级延迟与高动态范围异步捕获像素级强度变化，适于暗场景跟踪快速人体手势，但极暗条件下光电二极管暗电流与电路热噪声引发背景活动噪声，受损像素致热像素噪声，非物理事件淹没稀疏人体运动特征，区分真实运动事件与随机噪声成为关键挑战。

研究人员开展的研究为：提出无监督自适应事件去噪框架，核心为时空高斯加权邻域模型与动态阈值策略，评估每事件在时空维高斯衰减核下的因果局部密度并动态调整判别阈值，抑制背景活动与热像素噪声同时保留边缘运动细节，无需手工滤波器或标注数据；将去噪后事件流转为时表面输入预训练MediaPipe模型完成HPE；在公开E-MLB数据集与自采30 lux下Prophesee EVK4采集的squat、shuffle、jump、kick序列上验证。结论为该方法在AOCC（Area of Continuous Contrast Curve）、CCC（Continuous Contrast Curve）与关键点检测率上均优于DWF、YNoise、EDnCNN，公开集检测率平均提升超20%，自采集提升超30%，ND-64极端低光下仍保50%以上检测率。意义在于为暗场景人机交互、夜间人体运动分析提供鲁棒神经形态感知路径。论文发表于《Photonics》。

主要关键技术方法（不超250字）：采用事件相机异步输出四元组（x,y,t,polarity）表征；以百分位数估计自适应时间窗截断长间隔噪声离群；构建因果时空邻域集，以空间标准差σ_s与时间标准差σ_t的高斯衰减核计算局部加权密度；依密度分段动态调阈值τ∈[τ_min,τ_max]判别信号/噪声；去噪事件按指数衰减构时表面S(x,y)=Σexp(-(t-t_i)/τ_decay)；将时表面送入原帧图像预训练MediaPipe Pose（33关键点）回归骨架；样本含公开E-MLB（DAVIS346加ND滤镜）与自采30 lux四动作集（Prophesee EVK4）。

研究结果部分保留小标题说明如下。3.1事件表征：定义事件四元组，用时间间隔百分位数定自适应窗下限防高速崩塌、截噪声离群，解决时空分辨率失配。3.2时空高斯加权去噪模型：建因果邻域N_causal(e_k)，高斯权w=exp(-Δx2/(2σ_s2)-Δt2/(2σ_t2))累加得密度ρ_k；阈值τ(ρ_k)=τ_min+(τ_max-τ_min)·f(ρ_k)随密度分段阶跃，稀疏区用τ_min删孤立噪点，密区饱和τ_max保边缘。3.3姿态估计流水线：时表面经指数衰减保留运动轮廓，输MediaPipe得33关键点，以关键点检测率=有效关键点总数/(33×时表面数)量化。

4.1实现细节：Python实现，i9+RTX5060，参数σ_s、σ_t、τ_min、τ_max、缩放因子、T、τ_decay按文设值。4.2公开数据集验证：E-MLB上ND-00至ND-64四级，视觉对比显示DWF/YNoise过抑制、EDnCNN轮廓模糊，本研究法兼顾抑噪与保结构；AOCC最高；ND-16检测率近78%，ND-64超50%，平均高竞争法20%+。4.3自采集数据集评估：30 lux四类动作，本研究法AOCC最高（raw因噪假对比不作优）；squat检测率约23%仍领先，jump/kick等EDnCNN过抑制崩坏，本研究法平均高竞争法30%+。

讨论部分总结：局限为亚lux照度有效事件极稀、SNR骤降未测；时表面迁帧预训练MediaPipe未用原生异步细粒度时间信息，限精度上限；消费机10k事件/秒吞吐，拟搬FPGA或Intel Loihi neuromorphic处理器降延迟功耗。

结论部分翻译：本工作针对暗场景事件相机受背景活动与热像素污染致HPE困难，提出无监督自适应去噪框架（时空高斯加权邻域+动态阈值），免标注去噪保运动边缘；去噪事件转时表面接入MediaPipe构低光HPE流水线；公开与自采集数据上CCC/AOCC/关键点检测率均证其抑噪与保真平衡优于基线，为暗场景人机交互提供途径。