面向低延迟低功耗边缘设备的事件视觉轻量级自编码器

《IEEE Transactions on Broadcasting》：Lightweight Autoencoder for Event-Based Vision on Low-Latency Energy-Constrained Edge Devices

　　

摘要：

事件视觉作为一种新兴范式，正在推动能源感知的人工智能（AI）发展，其提供稀疏、低延迟的视觉信号，减少冗余数据处理并支持可持续的边缘计算。然而，事件流的异步和易受噪声影响的特性给传统深度学习模型带来了挑战，这些模型对于低功耗嵌入式平台往往计算量过大。本工作提出了一种紧凑且可配置的事件驱动自编码器（AE），能够有效压缩神经形态数据，同时保留下游推理所需的基本时空结构。该架构集成了轻量级卷积编码，在自适应事件阈值下表现稳健，并采用极小的分类器头，在显著降低计算成本的同时不降低识别保真度。在智能事件人脸数据集（SEFD）和事件交叉数据集（EBCD）上的大量评估表明，所提出的框架相比YOLOv9达到了具有竞争力或更优的准确率，同时所需参数减少了多达 35.6× 倍。为评估实际应用中的可持续性，模型被部署在资源受限的硬件上：树莓派4B和NVIDIA Jetson Nano。在NVIDIA Jetson Nano上，模型实现了44.8帧/秒的实时吞吐量。在树莓派4B的CPU上，50% AE分类器在完成所评估的推理工作量时消耗了16.19焦耳的能量，相当于在相同评估协议下比YOLOv9低约 726.3× 倍的能耗。这些结果表明，紧凑的事件驱动模型在推进环境友好的低功耗AI系统方面具有潜力，可应用于自主、移动和嵌入式计算环境中高速感知场景。

一、引言

快速视觉感知在依赖即时场景理解和决策的新兴技术中变得越来越重要，如自动驾驶汽车、机器人系统、工业监控和科学实验。然而，传统的基于帧的成像架构在高速场景中受到根本性限制，面对快速或复杂运动时，往往会产生模糊图像、延迟响应和冗余视觉数据。为克服这些瓶颈，事件驱动视觉传感器已被开发出来，以更受生物启发的方式捕捉动态视觉信息。这些传感器不是以固定时间间隔记录完整图像帧，而是异步地记录每个像素的亮度变化，从而能够以极低的延迟和高时间保真度持续追踪运动[2], [3]。