摘要
基于帧的RGB图像传感器与基于事件的视觉传感器分别为人类可感知成像和机器视觉提供了互补的感知能力。RGB图像传感器能够捕获密集的空间、颜色和纹理信息，这些信息对于生成人类可查看的图像、语义识别以及传统的图像信号处理流程而言至关重要。相比之下，动态视觉传感器和事件视觉传感器能够异步检测局部亮度变化，以低延迟、高时间分辨率的方式提供稀疏的时间信息，同时还能减少冗余数据输出。由于单独使用任何一种传感器都无法满足新兴视觉系统的所有需求，因此混合式事件-帧感知技术便成为了实现紧凑、低延迟且节能感知的重要方向。本综述介绍了各类混合式事件-帧感知架构与系统，包括双摄像头事件-帧系统、光学对齐的事件-帧系统、像素级共享混合图像传感器、堆叠式CIS-DVS混合图像传感器、同质像素感知系统以及仅基于事件的重建系统。我们分析了包括延迟、空间分辨率、颜色保真度、功耗以及外形尺寸在内的关键传感器参数，并探讨了这些参数如何指导传感器的配置与设计。综述认为，堆叠式CIS-DVS传感器是最为均衡且具有竞争力的架构之一，因为它们能够实现紧凑集成、同步的事件-帧感知以及片上处理功能。不过，该技术仍面临诸多挑战，包括颜色保真度、去马赛克处理、事件像素比优化、校准、性能测试以及边缘AI应用等方面。最后，我们强调，未来的混合式事件-帧感知系统应通过传感器、算法、图像信号处理器及AI技术的协同设计来开发。本综述为构建用于人类可感知成像和机器视觉的下一代混合式事件-帧感知系统提供了实用指导。
