时间编码使事件驱动视觉能够实现超敏锐度

《Nature Communications》：Temporal coding enables hyperacuity in event-based vision

　　

摘要

尽管在注视期间眼睛看似静止，但它实则处于持续运动之中——将视觉输入转化为丰富的时空神经活动流。这些运动挑战了视觉敏锐度源于空间采样的经典观点，表明超视力可能源于精确的时间编码。在此，我们展示了人工系统可利用这一原理，采用类视网膜事件（EB）感知，这是一种神经形态方法，其中传感器会对亮度变化响应并发出异步脉冲。我们使用一台在微小、像素化图像上进行受控“注视”运动的 EB 相机，生成了识别依赖于亚像素信息的数据集。我们发现，在这些时空事件流上训练的人工神经网络关键依赖于精确的时间信息，并且性能优于传统的基于帧的模型。学习到的表示也支持了威尼耶式亚像素辨别，证明了该人工仿生系统具有类似超视力的行为。这些结果表明，主动事件感知可以利用精确的时间来恢复那些无法从静态单帧中恢复的空间细节。综上所述，这些发现为视觉感知提供了新视角，为推进神经形态工程和高效人工智能视觉系统开辟了道路，并为测试关于生物视觉的假设提供了框架。