SpikeMicroNet：一种用于显微镜下高效光学微机器人姿态与深度估计的类脑视觉感知技术

《Scientific Reports》：SpikeMicroNet: neuromorphic visual sensing for energy-efficient optical microrobot pose and depth estimation under microscopy

　　

摘要

由光镊驱动的光学微机器人是一种用于细胞级操作、微组装以及精准生物医学干预的新兴工具，但其闭环控制依赖于必须在严格能耗限制下实时运行的感知子系统。现有的基于光学显微镜数据的感知系统依靠密集型人工神经网络，每次推理会消耗数毫焦到数十毫焦的能源，这与驱动光学硬件的嵌入式控制器不兼容。本文提出了SpikeMicroNet，这是一种可直接训练、具备失焦感知能力的脉冲神经网络，用于单帧光学微机器人的感知。该模型整合了相位编码失焦编码器（PCDE），可将静态显微镜图像转换为具有时间结构的脉冲序列；自适应阈值漏积分-放电神经元（AT-LIF），能够在不同几何结构的微机器人上保持稳定的放电频率；以及失焦感知脉冲自注意力模块（DASSA），其注意力图会根据编码器的时间相位进行调整。在独立于具体实验对象的评估方案下，该方法在OpTical MicroRobot数据集上与七种人工神经网络和脉冲神经网络基准模型进行了对比测试。SpikeMicroNet在姿态分类任务中的Top-1准确率达到了\(95.1\%\)，深度估计的平均绝对误差为\(1.78\,\mu\)米，同时相比最强的密集型视觉变换器基准模型，其模型端的计算能耗降低了高达\(28.4\times\)。据我们所知，这是首个专为光学微机器人感知而设计并经过测试的脉冲神经网络。