《Advanced Intelligent Systems》:High-Speed Altitude Regulation With Neuromorphic Camera and Lightweight Embedded Computation
编辑推荐:
本文针对高速飞行下神经形态相机(NC)事件率激增导致轻量化平台难以实时处理的问题,提出了一种面向树莓派5的优化光流(OF)算法。研究通过并行化处理、陀螺仪去旋转及自适应切片技术,实现了每秒2100万事件的处理,成功在15?m/s的固定翼无人机上完成昼夜环境下的自主降落,证明了低功耗嵌入式系统实现高速事件感知的可行性。
当无人机以15米每秒的速度掠过草地上空,传统相机还在为曝光时间和运动模糊头疼时,一种模仿生物视网膜工作原理的神经形态相机(Neuromorphic Camera, NC)却能捕捉到微秒级亮度变化。这种“事件驱动”的视觉传感器拥有极高的动态范围和时序分辨率,本是高速机器人感知的理想选择,却在现实应用中遭遇了尴尬:速度一快,事件数据就像洪水般涌来,动辄每秒上千万个事件,让本就算力紧张的轻量化嵌入式平台不堪重负。长期以来,神经形态视觉只能被困在速度低于5米每秒的旋转翼无人机或扑翼机器人上,高性能固定翼无人机的高速感知成了无人区。
为了打破这一算力壁垒,来自瑞士洛桑联邦理工学院(EPFL)的研究团队在《Advanced Intelligent Systems》上发表了一项突破性成果。他们首次在仅配备低成本树莓派5(Raspberry Pi 5)的固定翼无人机上,实现了对高达2100万事件每秒(21 MEPS)数据流的处理,成功完成了15米每秒速度下的高度估计与自主着陆。这不仅验证了神经形态视觉在高速场景下的潜力,更为轻量化机器人的智能感知开辟了新路径。
为实现这一目标,研究人员构建了完整的感知与控制闭环。硬件上采用HK Bixler 3固定翼无人机搭载DVXplorer Micro神经形态相机及树莓派5。算法核心在于优化的稀疏光流(Optical Flow, OF)计算流程:首先采用FAST角点检测与Lucas–Kanade跟踪器相结合的方案,并通过多线程并行处理获得25%的加速;其次引入基于陀螺仪的旋转补偿技术,去除相机自转对光流的干扰,精度达99%;最关键的是设计了自适应切片(Adaptive Slicing)策略,利用去旋转后的光流反馈通过比例积分(PI)控制器动态调整事件累积的时间窗口,而非传统的固定时间或固定数量切片。此外,利用皮托管(Pitot tube)测量的空速和向下激光雷达(LiDAR)及RTK GPS提供的真值进行对比验证。
3 Results
3.1 Event Time Resolution
在10万勒克斯的日光环境下,无人机执行包含高度变换、大坡度转弯和着陆的预设轨迹。研究发现,较短的时间窗口(如66微秒至1毫秒)能显著降低高度估计的平均相对误差(Mean Relative Error, MRE),但在着陆阶段接近地面时,过高的事件率会超过树莓派5的实时处理极限(21 MEPS)。尽管如此,系统仍能维持误差小于1米的准确高度估计,且频率下降未对飞行性能产生可观测影响。与传统帧相机相比,在日光条件下两者的高度估计表现相当。
3.2 Event Sensitivity
在30勒克斯的弱光环境下,由于安全性考虑,视觉估计未接入飞控闭环。实验发现,若将相机灵敏度设为默认的9,因特征不足导致高度估计严重失准;调整为高灵敏度(5)后,能有效捕捉运动线索,平均相对误差降至20%。若灵敏度过高(2),则会引入噪声导致误差回升。相比之下,传统相机在30勒克斯环境下完全失效,无法提取有效特征。
3.3 Benchmarking
在MVSEC数据集上的基准测试显示,尽管该方法属于基于模型的稀疏光流,其端点误差(Endpoint Error, EPE)表现仍可与部分深度学习密集光流方法相媲美,尤其在室内序列(dt=1)中表现稳健。引入自适应切片后,在室内场景保持了与固定切片相当的性能,而在户外驾驶场景(OD1)中,自适应切片相比固定dt=1基线降低了6.7%的端点误差。在更具挑战性的UZH-FPV数据集上,自适应切片相比最优的固定时间窗口(50毫秒),在多数序列中将平均绝对误差(Mean Absolute Error, MAE)降低了最多19厘米,相对误差降低18%,证明了其在复杂动态环境下的鲁棒性。
3.4 Limitations
研究同时指出了局限性:高度估计依赖场景纹理,在水面或光滑混凝土等无纹理表面性能可能下降;深度计算假设侧向和垂直速度可忽略,强侧风或湍流会引入误差;系统受限于CPU约21 MEPS的处理上限,极端动态场景可能导致丢帧;此外,算法假设环境静态,视场中大型独立运动物体可能干扰估计。
该研究成功攻克了高速固定翼无人机上神经形态视觉的实时处理难题。通过创新的轻量化算法设计,特别是自适应切片与陀螺仪去旋转技术的结合,使得仅依靠树莓派5这样的低功耗(约15瓦)、低成本(约60美元)嵌入式CPU,也能驾驭每秒数千万级别的事件洪流。这一成果打破了神经形态相机只能用于慢速平台的刻板印象,证明了其在高速、低光照环境下的独特优势——在30勒克斯的暗光下,传统相机已然“失明”,而神经形态系统依然能精准感知并引导着陆。这不仅为小型化、长续航的高速无人机在夜间巡检、隧道搜救等复杂任务中的应用铺平了道路,也为未来结合脉冲神经网络(Spiking Neural Networks)与神经形态硬件(如Intel Loihi)进一步挖掘能效潜力奠定了基础。