《Advanced Science》：Neuromorphic Optical Tracking and Imaging of Randomly Moving Targets Through Dynamic Dense Scattering Media
编辑推荐：
研究人员提出，据其所知，首个端到端脑启发神经形态系统，可同时完成动态稠密散射介质中沿随机不可预测轨迹运动目标的跟踪与成像。动态视觉传感器（DVS）捕获与动态目标相互作用的光子，抑制静态“雾状”散射背景，产生稀疏脉冲序列。这些序列直接输入具有双模块的深层脉冲神经
研究人员提出，据其所知，首个端到端脑启发神经形态系统，可同时完成动态稠密散射介质中沿随机不可预测轨迹运动目标的跟踪与成像。动态视觉传感器（DVS）捕获与动态目标相互作用的光子，抑制静态“雾状”散射背景，产生稀疏脉冲序列。这些序列直接输入具有双模块的深层脉冲神经网络（SNN）：用于实时定位的目标跟踪模块（OTM）与带残差细化的目标重建模块（ORM）。泄漏积分发放（LIF）神经元的时间记忆使网络跨时间步累积证据，在运动引起的脉冲模式大幅变化下重建一致目标几何。研究人员在透射与反射构型下，使用固体光学体模、浊水与动态雾，以复杂度递增的二维目标（MNIST数字、汉字、自然轨迹鸟类）验证系统。系统结构相似性指数（SSIM）最高达0.96，均方误差（MSE）低至0.004，全序列推理低于15 ms。能耗分析表明相较等效人工神经网络（ANN）降低18倍，为新兴超低功耗神经形态硬件提供可能。
研究背景方面，在浊质介质中高分辨获取沿随机不可预测轨迹运动目标图像是光学成像基本挑战，涉及自主导航、水下机器人与生物医学传感。现有策略如飞行时间（ToF）、单光子雪崩二极管阵列（SPAD）、激光散斑、波前整形、鬼成像及卷积神经网络（CNN）多针对中等密度介质中静止或受控轨迹目标，且人工神经网络（ANN）算力功耗难以满足移动平台超低功耗低延迟需求。研究人员假设全神经形态方法模仿哺乳动物视觉可突破“穿浓雾视物”限制：视网膜级DVS仅响应时间强度变化抑制静态散射背景，视觉皮层级SNN以脉冲处理追踪与重建。该研究发表于《Advanced Science》，提出端到端DVS-SNN管线，解决稠密散射介质中随机运动目标同步跟踪与重建问题。
关键技术方法上，前端采用Prophesee Gen 3.0 EVK DVS（640×480像素，对比阈值θ≈12%，微秒时间戳，功耗<1 W）记录透射/反射光，目标由E-ink闪现、数字微镜器件（DMD）扫描激光或OLED投影，介质为SiO2掺杂硅胶体模（光学厚度OT≈3.3，反射双程OT≈6.6）、Intralipid浊水（OT≈3.5）、雾室（OT≈4）；原始异步事件经时空去噪与分箱为[T,C,H,W]张量（如Δt=20 ms，N=18）。后端为定制深层SNN：并行OTM（紧凑卷积编码+全连接头，仅末层按时间步复位）与ORM（脉冲U-Net类编码解码+跳跃连接）及残差细化模块（RRM），全网络采用泄漏积分发放（LIF）神经元与有状态突触滤波器，OTM用MSE损失，ORM用BCE+SSIM+IoU混合损失，两模块分别训练推理时融合。
研究结果部分，3.1节反射构型固体体模静止闪现汉字（K-MNIST）实验中，双程OT≈6.6（约144平均自由程），原始DVS不可辨，SNN重建SSIM=0.8080、PSNR=12.66、MSE=0.058、MAE=0.0716，证明双程强散射下二值轮廓可恢复。3.2节透射构型固体体模（OT≈3.3）随机走动MNIST数字实验中，OTM早于ORM收敛出坐标，全18步序列SNN推理<15 ms（RTX 3090），测试集SSIM=0.9577、PSNR=20.09、MSE=0.0108、MAE=0.0119，显示LIF时间记忆随步数累积使数字由模糊至清晰。3.3节浊水（OT≈3.5）OLED投影自然曲线轨迹鸟类剪影实验中，面对同目标异轨迹导致脉冲云疏密巨变，SNN凭状态膜电位整合不变空间特征，测试集SSIM=0.9593、PSNR=28.53 dB、MSE=0.004376、MAE=0.0092；t-SNE显示鸟类特征无类别聚簇仍高保真重建，证明对运动学剖面鲁棒。
讨论部分指出，系统依赖目标运动与介质涨落时间尺度分离（雾OT漂移<0.013 Hz被DVS抑制），当介质去相关率升高至与目标频带重叠则达物理极限；DVS前端~28 mW与SNN仅12%–20%神经元激活带来相较ANN 18倍能耗降；最大演示OT≈6.6反射双程，信号随exp(?OT)衰减；静态或极慢目标无事件故不可重建，当前输出二值轮廓非灰度纹理，未定义单一最小速度/对比度阈值；视野由镜头与工距决定，深度运动与多目标需后续架构扩展。结论部分翻译：研究人员表明，以脉冲为唯一信息单位的事件感知端到端神经形态光学系统，可成功解决稠密散射介质隐藏下动态随机运动目标成像与跟踪问题；潜在应用超越体模、浊水与动态雾，可适配头戴或无人机系统用于火灾救援、浓雾车辆行人辨识及动态生物靶成像；在自由空间光通信与非视距成像中，散射与结构光固有于信道，脉冲编码事件流可替代常规强度帧，同一二值表示可在解码前低误码无线传输。
