事件驱动视觉在机器人学中的特刊客座社论

《IEEE Robotics and Automation Letters》：Guest Editorial: Special Collection on Event-Based Vision for Robotics

　　

自然智能数十年来一直是激发和推动机器人技术领域的灵感来源。研究人员寻求构建具有自然界所观察到的能力的机器人：以生物体的效率和适应性进行感知、学习和反应的能力。这一生物学蓝图旨在捕获自然智能的基本原则，促使神经形态工程师彻底重新思考机器人视觉。因此，在20世纪80年代末，加州理工学院的先驱Mahowald和Mead基于传感器应像人眼一样工作的信念，发明了第一个“硅视网膜”（silicon retina）——当今“事件相机”（event camera）或“神经形态相机”（neuromorphic camera）的前身。2006年，另一个突破是动态视觉传感器（Dynamic Vision Sensor, DVS）的开发，这是第一个稳定的事件相机，其少量单元被缓慢生产并供研究实验室使用。与同步捕获冗余帧（即图像）的标准相机不同，事件相机使用异步像素，仅响应光的局部变化。与标准相机相比，这一工作原理提供了独特优势（低延迟、高动态范围、低功耗等）。这些研究工作属于更广泛的神经形态传感与计算框架。过去十年，硬件和软件生态系统的稳步进展帮助事件相机在机器人领域取得核心地位，与传统传感器并驾齐驱。现代事件相机主要受追求更高空间分辨率（即“百万像素竞赛”）的驱动，从早期原型的128×128像素增加到当前消费级相机的1280×720像素。这一进展在最小化能耗和延迟的同时实现，尽管更高的数据吞吐量带来了挑战。在此背景下，集成事件相机的复杂机器人系统的设计、建模和评估也取得了重要进展，推动了现有传感技术的极限。

# 事件驱动视觉在机器人学中：特刊解读

自然智能长期以来启发着机器人技术的发展，研究人员渴望构建具有生物体那般感知、学习与反应能力的机器人。这一愿景促使神经形态工程师从根本上重新思考视觉感知。20世纪80年代末，Mahowald和Mead发明了首个“硅视网膜”，成为当今事件相机的前身；2006年动态视觉传感器（DVS）的问世则标志着稳定事件相机的诞生。与传统帧相机不同，事件相机利用异步像素仅响应光强变化，从而具备低延迟、高动态范围和低功耗等独特优势。然而，早期事件相机分辨率低、软件生态不成熟，难以在复杂机器人系统中发挥价值。近十年来，硬件和软件进步将事件相机分辨率从128×128提升至1280×720，使其逐步与传统传感器并驾齐驱。但该领域发展速度极快，研究主题分散，亟需系统性回顾和前瞻性规划。因此，IEEE Transactions on Robotics组织“基于事件的机器人视觉”（Event-based Vision for Robotics）特刊，旨在梳理已有成果、识别新兴应用并指引未来方向。

特刊收到34篇投稿，经严格的匿名评审录用9篇，其中空中机器人和视觉-触觉传感各3篇，另有3篇共同构成完整图景。这些研究展示了事件相机在运动模糊、光照突变和高速动态场景中的独特价值，推动了机器人感知、控制与交互的前沿进展。

**关键技术方法**（不超过250字）：Zou等将事件流与运动模糊帧嵌入神经辐射场（Neural Radiance Fields, NeRF）优化，并联合细化事件视觉-惯性里程计先验；Bauersfeld等利用事件相机检测红外LED并结合透视n点（Perspective-n-Point, PnP）估计位姿，通过递归卷积神经网络与强化学习估计气流并控制悬停；Zhang等采用脉冲神经网络（Spiking Neural Network, SNN）识别飞行模式实现机间通信；Khairi等基于事件视觉和贝叶斯融合实现连续高速触觉扫描；Li等用事件相机对振动弹性体成像实现触觉探测；Fang等以概率脉冲结构化状态空间网络处理事件数据完成滑动检测；Li等通过深度表示学习构建eAP数据集以支撑三维车辆检测与碰撞时间估计；Muglikar等用EventNet检测雪花时空特征，并与RGB帧在Transformer架构中融合去遮挡；Bae等结合线检测、跟踪、三角化与参数优化