忆阻运动条纹神经元用于时空多目标检测

《Advanced Materials》：Memristive Motion-Streak Neuron for Spatiotemporal Multiple Object Detection

　　

传统人工视觉系统通过从离散帧重建运动来处理动态场景，效率低下且需要后处理。相比之下，包含多个移动物体的真实环境需要传感器级别的区分。本研究提出了一种忆阻运动条纹神经元，通过集成Al/InGaZnO/Al光忆阻器（optomemristor）与Ag/HfO₂/Pt动态忆阻器（dynamic memristor）来实现时空编码，其中动态忆阻器的弛豫动力学提供了时间记忆。在该系统中，移动物体的存在时间通过输出电流的衰减来检测，从而可以直接从弛豫行为推断运动方向和速度。集成的忆阻器像素阵列能够处理连续运动，并对多个物体实现了96.2%的分类准确率。此外，将运动条纹神经元与电阻-电容（R-C）核集成，进一步编码了光事件之间的时间间隔，从而能够识别复杂的运动模式。这种动态处理减少了计算开销，并为下一代视觉系统提供了硬件解决方案。

**论文解读：忆阻运动条纹神经元用于时空多目标检测**

**研究背景与问题**
传统人工视觉系统基于逐帧处理动态场景，需从离散帧重建运动，导致冗余数据传输和高延迟，尤其在多物体以不同速度和方向同时运动时效率低下。生物视觉系统通过运动条纹神经元（motion-streak neuron）将连续视觉输入整合为残留轨迹，实现快速运动感知，无需后处理。受此启发，研究人员旨在开发一种硬件方案，直接在传感器层面编码时空信息，以降低计算开销并提升多目标检测效率。该研究发表于《Advanced Materials》。

**研究内容与结论**
研究人员通过集成Al/InGaZnO（IGZO）/Al光忆阻器（optomemristor）与Ag/HfO₂/Pt动态忆阻器（dynamic memristor），构建了忆阻运动条纹神经元，形成单个像素单元。该单元利用动态忆阻器的弛豫动力学（relaxation dynamics）编码物体速度，光忆阻器响应光刺激提供空间位置。通过4×4阵列实验验证，单物体运动分类准确率达96.7%；基于KTH数据集（含人类跑步、慢跑、行走等室外场景）的多目标模拟中，系统实现96.2%的分类准确率。进一步集成电阻-电容（R-C）核，可编码光事件间的时间间隔，对复杂顺序运动（如先右后左）的分类准确率达91.1%。该动态处理方案显著减少了计算开销，为下一代视觉系统提供了硬件解决方案。

**关键技术方法**
1. **器件集成与表征**：将Al/IGZO/Al光忆阻器与Ag/HfO₂/Pt动态忆阻器串联，形成单个像素。光忆阻器通过光致氧空位（VO）电离/中和实现快速光响应（上升100 μs，下降60 μs）；动态忆阻器依赖银导电细丝的形成与自发溶解，实现脉冲宽度和串联电阻依赖的弛豫时间。
2. **光学实验系统**：搭建包含532 nm激光二极管阵列、微控制器（MCU）和脉冲发生器的光学板，精确控制光脉冲的方向（8个方向）和速度（快/中/慢，对应1/2/3 ms每像素），并行测量4×4阵列的电流响应。
3. **神经网络分类**：基于实验电流响应提取弛豫时间常数，构建16维（单目标）或7500维（多目标）向量，输入全连接神经网络（16×24或7500×48）进行训练与推断，使用Adam优化器和反向传播。对复杂运动，结合运动条纹向量与R-C核向量（15000维），输入15000×384网络。

**研究结果**

**2.1 运动条纹神经元用于时空多目标检测**
通过模拟生物视觉原理，证明动态忆阻器的弛豫行为可编码物体存在时间：慢速物体产生长弛豫时间（长运动条纹），快速物体产生短弛豫时间（短运动条纹）。方向由最终嵌帧中物体位置与残留轨迹的相对关系确定。与帧基方法和静态弛豫方法相比，动态弛豫方法能同时区分多个物体的身份、速度和方向，无需额外信号处理。

**2.2 Ag/HfO₂/Pt动态忆阻器、Al/IGZO/Al光忆阻器及集成器件的电学和光学特性**
动态忆阻器显示亚1 V的易失性阈值开关行为，弛豫时间随脉冲宽度（1–4 ms内从1.7 ms增至2.1 ms）和串联电阻（10–50 MΩ）单调变化，归因于银导电细丝直径差异。光忆阻器光响应速度（上升100 μs，下降60 μs）优于氧化物基光电探测器，输出电流与光强呈线性关系，且稳定性超过400次光循环。集成器件在光照下因光忆阻器电阻降低，导致动态忆阻器分压增大，输出电流和弛豫时间均增加，证实其对时空信息的处理能力。

**2.3 单物体运动分类**
在4×4阵列上，通过精确控制激光脉冲方向（8个方向：垂直、水平和对角线）和速度（快/中/慢），测量各像素电流响应。提取的弛豫时间常数（τ）在同一速度下方向间一致，不同速度间明显分离。将16维电流向量输入神经网络（16输入，24输出，对应方向与速度组合），训练后测试准确率达96.7%，混淆矩阵呈清晰对角模式，证明系统能区分噪声环境中的任意方向和速度。

**2.4 KTH运动数据集的多目标时空检测**
模拟KTH数据集中两个物体、八方向、三速度的任意场景，在100×75像素阵列上处理四个连续运动事件。由于动态弛豫，慢速物体产生更长、强度更高的运动条纹。将电流响应向量化（7500×1）输入神经网络（7500输入，48输出，对应物体身份、方向和速度组合），准确率达96.2%。对比实验显示，帧基方法（12.5%）和静态弛豫方法（38.1%）均无法有效区分，而动态弛豫方法能清晰分离输出神经元索引。设备变异性（循环间和器件间变异系数分别为0.09和0.07，总变异系数0.12）对分类性能影响不大。

**2.5 集成运动条纹神经元与R-C核用于多物体的任意复杂运动分类**
针对复杂顺序运动（如先右后左），单独运动条纹神经元无法区分，因弛豫动力学无法长期保存运动历史。集成R-C核（1 MΩ电阻和500 pF电容）可检测光序列间的时间间隔：间隔越长，电容充电越多，后续光输入时分压更高，从而编码时间信息。将运动条纹向量（7500维）与R-C核向量（7500维）拼接成15000维向量，输入384输出神经元（对应物体身份、两个方向序列和速度组合）的网络，准确率达91.1%，远高于单独使用运动条纹向量（23.7%）或核向量（54.2%）。

**总结与结论**
本研究通过集成光忆阻器与动态忆阻器，构建了忆阻运动条纹神经元，实现了时空信息的硬件内编码。系统在单目标检测（96.7%）、多目标KTH数据集（96.2%）和复杂运动（91.1%）中均展现出高准确率，且处理开销低于传统软件方案。该动态处理方法弥合了人工与生物视觉系统之间的差距，为下一代传感器级视觉系统提供了可扩展的硬件解决方案。