《Electronics》:A Biologically Inspired Unsupervised Artificial Visual System for Motion-Direction Detection via Hierarchical Agglomerative Clustering
编辑推荐:
生物视觉中的运动感知受到经验依赖过程的影响,在此过程中,方向选择性响应随时间出现并进一步细化,尽管其潜在机制仍部分未被理解。研究人员提出了一种基于生物启发的层次凝聚聚类(HAC)的无监督人工视觉系统(AVS)用于运动方向检测。该模型由局部运动处理层和全局运动推
生物视觉中的运动感知受到经验依赖过程的影响,在此过程中,方向选择性响应随时间出现并进一步细化,尽管其潜在机制仍部分未被理解。研究人员提出了一种基于生物启发的层次凝聚聚类(HAC)的无监督人工视觉系统(AVS)用于运动方向检测。该模型由局部运动处理层和全局运动推断层组成。在局部层面,使用视网膜启发的局部运动检测神经元(LMDN)提取运动方向响应,以捕捉像素级时空变化。在全局层面,通过原型感知HAC对这些局部方向响应进行聚类,以推断全局运动方向。此外,建立了一种受神经可塑性和关键期概念启发的无监督学习机制。在变化的噪声条件和物体尺度下进行了广泛的计算机仿真。结果表明,所提出的AVS在不同测试条件下保持了鲁棒的全局运动方向检测精度,并表现出与生物视觉系统选定特征相似的生物可解释特征。总之,这个基于HAC的无监督AVS为研究视觉系统中运动表示的形成提供了一个计算模型,并支持人工视觉系统的发展。
**论文解读文章**
**研究背景与问题**
生物视觉中的运动感知是提取外界行为相关信息的关键通路。视觉运动感知涉及分析视网膜光分布的时空变化,以推断视野中的运动,包括局部运动方向、速度和全局运动一致性。在视觉通路的早期阶段,方向选择性视网膜神经节细胞(DSGCs)通过偏好方向上的强烈响应和相反方向上的抑制响应,参与局部运动方向分析。这些局部信号随后被整合到更广泛的运动处理通路中,例如初级视觉皮层(V1)和颞中区(MT)在全局运动处理中起关键作用。发育研究表明,视觉皮层回路经历经验依赖和活动依赖的细化,并在关键期可塑性之后趋于稳定。然而,这些生物机制尚未被完全理解,且传统的人工视觉系统(如基于光流或深度学习的方法)通常依赖于任务特定的监督学习,缺乏生物视觉中无监督的发育过程。因此,研究人员旨在开发一种模拟生物视觉发育特性的无监督人工视觉系统,以研究局部运动方向证据如何组织为稳定的全局运动方向表示,并探索其生物可解释性。
**研究内容与结论**
本研究提出了一种基于原型感知层次凝聚聚类(HAC)的无监督人工视觉系统(AVS)用于运动方向检测。该系统由局部运动检测神经元(LMDN)层和全局运动检测神经元(GMDN)层组成。LMDN层模拟视网膜方向选择性机制,从连续两帧图像中提取局部运动方向响应;GMDN层通过8维方向原型表示全局方向偏好,并利用原型感知HAC将激活的LMDN响应组织为全局方向簇,最终通过K-cut策略确定全局运动方向。此外,系统引入了一个受神经可塑性和关键期启发的无监督发育学习阶段,通过反复暴露于局部运动证据,使GMDN原型发展出方向选择性并建立稳定的局部-全局功能关联。在由32×32像素灰度图像组成的模拟数据集(包含随机形状、大小、位置及四种噪声类型)上进行评估,结果表明:该系统在无监督学习后能够形成清晰的方向选择性表示,并表现出与生物视觉发育一致的行为(如突触修剪样细化、经验依赖方向专门化、“用进废退”模式),且在多种噪声条件和物体尺度下保持高鲁棒性,其全局运动方向检测准确率在无噪声条件下优于LeNet-5、ResNet-18和EfficientNet-B0等对比模型。该论文发表在《Electronics》上,标志着本研究的正式发表。
**关键技术与方法**
1. **局部运动检测神经元(LMDN)层**:基于视网膜方向选择性机制,通过光感受器、双极细胞、水平细胞和神经节细胞的级联响应,从两帧图像中提取像素级局部运动方向,输出8维方向响应向量。
2. **全局运动检测神经元(GMDN)层与原型感知HAC**:使用8个GMDN,每个由8维方向原型表示方向偏好;将激活的LMDN响应与当前GMDN原型在Hellinger距离下计算兼容性,生成软原型兼容性向量,并与原始方向向量拼接形成聚类特征,再通过Ward连接的HAC进行聚类,最后应用K-cut策略选择最优簇以确定全局运动方向。
3. **无监督发育学习机制**:模拟关键期可塑性和神经活动依赖的细化,通过反复暴露于局部运动证据,更新GMDN原型(基于簇级方向分布与当前原型的加权融合),并引入弱选择性调整与原型分离机制,使原型在无标签条件下发展出方向选择性。
**研究结果**
**3.1 可行性实验**:通过比较学习前后GMDN层状态,发现学习前GMDN原型弱选择性,相同方向响应分布混乱;学习后,GMDN原型形成清晰方向偏好,且相同方向响应优先关联到对应GMDN,表明无监督学习成功建立了局部-全局功能关联,支持全局方向检测。
**3.2 生物验证实验**:包括三个验证实验。(1)突触修剪样细化:学习后,方向一致的LMDN与GMDN关联增强,不一致关联减少,类似于生物突触修剪中的选择性维持。(2)视觉经验依赖的方向专门化:当学习输入仅包含四个方向(45°、135°、225°、315°)时,对应GMDN原型发展出强选择性,而其他方向GMDN保持弱选择性,表明方向偏好由视觉经验统计塑造,与关键期可塑性一致。(3)“用进废退”模式:先让所有方向GMDN发展出初步选择性,随后仅输入45°方向样本,结果45°关联GMDN继续增强,而其他方向GMDN选择性逐渐下降,验证了持续输入维持、减少输入削弱的计算对应。此外,丰富发育经验(8000样本)相比贫乏经验(150样本)使全局方向检测准确率大幅提升,表明多样化的发育暴露对稳定方向表示至关重要。
**3.3 性能实验**:在无噪声数据集上,AVS在物体大小从1到512像素范围内均取得最高准确率(如1像素物体准确率97.54%,512像素物体96.64%),优于LeNet-5、ResNet-18和EfficientNet-B0。在不同噪声类型(静态背景、动态背景、静态全局、动态全局)及强度(1%、5%、10%)下,AVS对64像素以上物体保持高准确率(>95%),但在动态全局噪声下小物体(1像素)准确率下降至22.00%。在连续运动(四帧)实验中,AVS对小物体准确率高于两帧情况,大物体略有下降,但整体保持鲁棒。在真实图像(DAVIS 2016数据集)验证中,AVS正确识别了所有10个样本的全局运动方向,尽管局部响应包含噪声方向响应,但GMDN层仍能提取正确方向。
**讨论与结论**
讨论部分指出,本研究提出的原型感知HAC无监督AVS能够通过无监督发育学习形成全局方向选择性表示,且其行为与生物视觉发育中的突触修剪、关键期可塑性和“用进废退”原则一致。性能实验表明系统在多种扰动下保持鲁棒,具有在机器人视觉、自主导航和智能监控等领域的应用潜力。但局限性包括:当前系统仅面向灰度图像和有限方向,未评估真实连续运动环境;全局方向判定依赖LMDN响应质量,局部运动证据稀疏时可能不稳定;未估计位移幅度或速度。未来工作将扩展至彩色图像和真实运动数据集,并引入多帧时间整合、多尺度感受野和速度敏感单元。
本研究提出了一种基于原型感知HAC的无监督AVS用于局部到全局运动方向检测。结果表明,该系统能够进行鲁棒的运动方向检测,并表现出显著的生物可解释性。本研究对生物视觉研究和计算机科学均具有重要意义:所提出的AVS为研究生物视觉系统的机制和特性提供了一个可解释的计算模型,并为开发用于运动感知的高性能计算机视觉模型提供了一种有效策略。