OscVision:面向低功耗视觉推理的振荡器网络

《INTERNATIONAL JOURNAL OF COMPUTER VISION》:OscVision: Oscillator Networks for Low Power Vision Inference

【字体: 大 中 小 】 时间:2026年09月21日 来源:INTERNATIONAL JOURNAL OF COMPUTER VISION 10.3

编辑推荐:

   摘要边缘设备上的低功率计算机视觉正日益受到冯·诺依曼处理器能耗下限的制约。本文探索了具有类似于神经系统中观察到的特性的振荡器网络,以实现高效的计算机视觉处理。利用动力学振荡器网络基于时序的表示特性和大规模同步特性,我们设计了一系列用于视觉推理的耦合振荡器网络算法。我们为视觉任

  

摘要

边缘设备上的低功率计算机视觉正日益受到冯·诺依曼处理器能耗下限的制约。本文探索了具有类似于神经系统中观察到的特性的振荡器网络,以实现高效的计算机视觉处理。利用动力学振荡器网络基于时序的表示特性和大规模同步特性,我们设计了一系列用于视觉推理的耦合振荡器网络算法。我们为视觉任务设计的公式兼容基于CMOS振荡器的结构,其中耦合相位动力学可收敛至低能耗的相位锁定状态。根据已发表的振荡器网络硬件演示,与传统冯·诺依曼实现相比,此类结构有望实现数量级的能耗降低,这促使我们通过软件模拟而非制造硬件来评估OscVision。我们展示了如何将四个代表性视觉任务映射到一个统一的能耗最小化目标框架中,该框架可通过耦合振荡器动力学实现。这些视觉任务的算法涵盖(a)图像去噪、(b)图像分割、(c)接缝驱动的图像拼接,以及(d)霍普菲尔德式图像分类。此外,由于实际振荡器结构的相位和权重分辨率有限(2-3位),我们引入了编码策略,通过相位、耦合权重、局部邻域交互和辅助图像属性联合表示像素信息,以处理8位图像输入。我们的公式实例化了三种硬件驱动的振荡器网络架构:(i) 局部连接的像素-振荡器网格、(ii) 每像素多振荡器编码以实现更高位深,以及(iii) 用于关联检索的稀疏全局耦合。我们的Kuramoto动力学模拟显示,在多个任务上,与传统算法基线相比具有竞争力的准确率,同时伴随的能耗分析表明,将这些工作负载映射到基于振荡器的硬件上具有潜在的能耗优势。

边缘设备上的低功率计算机视觉正日益受到冯·诺依曼处理器能耗下限的制约。本文探索了具有类似于神经系统中观察到的特性的振荡器网络,以实现高效的计算机视觉处理。利用动力学振荡器网络基于时序的表示特性和大规模同步特性,我们设计了一系列用于视觉推理的耦合振荡器网络算法。我们为视觉任务设计的公式兼容基于CMOS振荡器的结构,其中耦合相位动力学可收敛至低能耗的相位锁定状态。根据已发表的振荡器网络硬件演示,与传统冯·诺依曼实现相比,此类结构有望实现数量级的能耗降低,这促使我们通过软件模拟而非制造硬件来评估OscVision。我们展示了如何将四个代表性视觉任务映射到一个统一的能耗最小化目标框架中,该框架可通过耦合振荡器动力学实现。这些视觉任务的算法涵盖(a)图像去噪、(b)图像分割、(c)接缝驱动的图像拼接,以及(d)霍普菲尔德式图像分类。此外,由于实际振荡器结构的相位和权重分辨率有限(2-3位),我们引入了编码策略,通过相位、耦合权重、局部邻域交互和辅助图像属性联合表示像素信息,以处理8位图像输入。我们的公式实例化了三种硬件驱动的振荡器网络架构:(i) 局部连接的像素-振荡器网格、(ii) 每像素多振荡器编码以实现更高位深,以及(iii) 用于关联检索的稀疏全局耦合。我们的Kuramoto动力学模拟显示,在多个任务上,与传统算法基线相比具有竞争力的准确率,同时伴随的能耗分析表明,将这些工作负载映射到基于振荡器的硬件上具有潜在的能耗优势。

相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号