综述:集成在内存中及靠近内存位置的传感器,用于仿生机器人的感知功能

《Materials Today》:Integrated in-memory and near-memory sensor for bionic robot perception

【字体: 大 中 小 】 时间:2026年05月02日 来源:Materials Today 22

编辑推荐:

  钱丁|谢新凯|郑同|李建伟|陈品珍|史琼峰|余存江|吴俊 东南大学电气科学与工程学院,南京210000,中国 摘要 传感器网络和边缘智能的快速发展加剧了在节能数据采集、传输和处理方面的挑战。传统的冯·诺依曼架构在处理大量分布式传感器数据时显得力不从心,从而加剧了能源

  钱丁|谢新凯|郑同|李建伟|陈品珍|史琼峰|余存江|吴俊
东南大学电气科学与工程学院,南京210000,中国

摘要
传感器网络和边缘智能的快速发展加剧了在节能数据采集、传输和处理方面的挑战。传统的冯·诺依曼架构在处理大量分布式传感器数据时显得力不从心,从而加剧了能源消耗。为了解决这些限制,集成感知-存储-计算策略作为一种变革性解决方案应运而生。这些策略主要通过“内存传感器”实现,其中存储设备本身具有感知刺激的能力;以及“近内存传感器”,它将离散的传感器和存储组件结合在一起。模仿人类的多感官整合,人工系统旨在通过协调视觉、触觉、嗅觉、听觉和味觉等模式来统一环境感知。本文全面介绍了基于内存传感器的处理系统(IMSPS),涵盖了材料创新、设备架构、突触可塑性机制以及在单模态(视觉、触觉等)、环境感知和多模态感知领域中的应用。重点讨论了利用IMSPS进行感知和交互的生物启发式机器人系统。最后,我们概述了智能机器人领域的关键机遇,同时指出了IMSPS在可扩展性、神经形态感知能力和系统级优化方面面临的挑战。

引言
信息技术和人工智能的加速发展引发了数据激增的时代,推动了对高性能数据处理系统的战略需求。[1],[2],[3],[4],[5],[6],[7] 然而,传统的冯·诺依曼架构将存储单元和处理单元物理分离,这加剧了延迟和能源开销,暴露了“冯·诺依曼瓶颈”的固有低效性。[8],[9],[10] 相比之下,人类大脑拥有大约10^11个神经元和10^15个突触[11],作为一个高效、并行且节能的生物超级计算机,仅消耗约10瓦的电力[12]。脊椎动物的神经系统由中枢神经系统(CNS)和周围神经系统(PNS)组成,前者包括大脑和脊髓,后者由感觉神经元、运动神经元及其相关的神经节和神经组成[13]。CNS和PNS协同工作,控制动物的行为和身体机制,实现对环境刺激的复杂实时响应。这种自然的信息处理模型启发了神经形态计算的概念,旨在模仿大脑的计算范式以提高效率和性能。神经形态计算迅速成为一个研究热点,吸引了大量关注[14],[15],[16],[17],[18],[19],[20],[21],[22],[23],[24],[25],[26]。受神经科学的启发,它旨在复制大脑的架构和功能,以实现高能效的并行计算[27],[28]和局部处理[29],从而推动边缘计算[31],[32],[33]、智能机器人[34]以及与人体交互的智能系统[35]的发展。

除了卓越的计算能力外,人类大脑还通过五种基本感官(视觉、触觉、听觉、嗅觉和味觉)与环境互动[36],[37]。这些感官模式对于人类感知和响应周围世界至关重要。例如,视觉使我们能够获取大量的空间和时间信息,而听觉则使我们能够检测和处理声波。触觉使我们能够感知物理压力和纹理,嗅觉和味觉则有助于检测环境中的化学信号。在智能机器人的长期研究中,人们设想赋予机器人类似人类的感官,尤其是视觉和触觉。如图1所示,左侧展示了人类多感官系统,其中CNS和PNS协同工作以处理和整合来自视觉和触觉的感官信息。右侧描绘了用于仿生机器人的相应多模态传感器系统,其中内存传感器和近内存传感器系统实现了高效的数据处理,从而复制了这些感官模式的能力。为此,为它们配备各种仿生集成存储传感器(IMS)至关重要,这已成为近年来的活跃研究和发展前沿[38],[39],[40],[41],[42],[43],[44]。

一般来说,要模仿生物感知系统,需要整合传感器和人工突触。然而,这种多组件整合可能导致硬件冗余、能源浪费以及感知、存储和计算的分离。为了解决这些限制,开发了IMS,利用内存和近内存感知策略来统一感知检测和存储操作[33],[45],[46]。这一框架与“近传感器计算”和“内存内计算”这一著名范式不同,尽管相关。[47] “计算”范式无论是“近”还是“内存内”形式,都主要强调在采集点对数字化或电信号进行计算以执行算术特征提取。相比之下,本文讨论的IMS范式侧重于在设备层面直接深度整合存储和突触可塑性,以管理刺激本身的物理熵。具体而言,内存传感器通过工程化存储设备使其对刺激具有内在响应性,从而在单一设备结构内统一了感知和存储功能。而近内存传感器采用“混合集成”策略,将离散的传感器组件与相邻的存储单元连接起来,形成用于高效数据交换的模块化系统。除了设备层面的单个IMS之外,基于IMS的处理系统(IMSPS)将这一概念扩展到系统级框架,其中多个IMS节点协同工作形成多模态感知网络。这种从局部传感器-存储单元到IMSPS的转变是通过构建分布式IMS单元并结合信号处理实现的。受生物系统的启发,IMSPS利用并行分布式感知处理、低能耗和高容错性来克服传统感知架构的低效性。在较低层面,IMS单元执行局部特征提取;而在系统层面,IMSPS通过结构化的互连和类似突触的交互整合多模态感官信号,实现统一的感知表示[48],[49],[50],[51]。重要的是,IMSPS不仅仅解决了冯·诺依曼架构的计算“内存墙”问题,还主要克服了传统机器人感知中的“数据采集瓶颈”。在传统系统中,物理刺激必须先数字化再传输才能存储或处理,这造成了显著的延迟和能源开销。通过使物理刺激直接在传感器设备内保留,IMSPS消除了感知边缘的冗余模数转换步骤。并行感知和突触连接神经处理的融合不仅提高了系统效率,还为在动态环境中运行的智能机器人提供了基于生物学的能源适应型感知网络基础。

为仿生机器人感知开发集成近内存和内存传感器代表了神经形态工程和生物启发式机器人的重大进步。这一演变可以追溯到几个关键技术创新阶段,包括神经形态计算、忆阻器、晶体管和IMSPS设计的进步(图2)[52],[53],[54],[55],[56],[57],[58],[59],[60],[61],[62],[63],[64],[65]。集成近内存和内存传感器的发展彻底改变了仿生机器人的感知能力,很大程度上借鉴了神经形态计算。这一概念由Carver Mead在20世纪80年代末提出[52],旨在模仿大脑的架构,合并存储和处理单元。这一理念打破了传统冯·诺依曼架构的限制,其中分离的存储和处理单元阻碍了计算效率。2008年,惠普公司开发了忆阻器,最初因其能够保持电阻状态而被视为存储元件[53]。然而,随着时间的推移,人们认识到其在内存计算中的潜力,揭示了其作为突触设备的用途,使其能够在存储单元内直接执行更复杂的任务,减少了存储器和处理器之间的数据传输需求。21世纪10年代,忆阻器/晶体管与传感器之间的协同作用进一步推动了近内存和内存传感器计算的发展[54],[55],[56],[57],[58]。这种整合使得创建混合电路成为可能,将存储阵列放置在传感器附近,将处理元件放置在存储阵列附近,最小化了数据传输并提高了系统性能。在仿生机器人领域,这种整合至关重要。自2020年代初以来,将忆阻器和晶体管集成到传感器模块中促进了特定仿生机器人系统的实时数据处理,灵感来自生物神经网络[59]。此外,自2023年以来,柔性电子技术的进步加速了贴合式IMS的发展,使机器人能够通过边缘处理提高感知能力[60],[61],[62],[63],[64],[65]。

在本文中,我们首先概述了人工突触的基本模型和原理,并介绍了相关的性能指标。然后,我们全面介绍了IMSPS的最新进展,将其分类为集成视觉系统、触觉系统、嗅觉系统、听觉系统、味觉系统和多模态感知系统。每个类别都进行了详细讨论,重点关注材料、设备架构、工作原理、突触可塑性和潜在应用,特别是在仿生机器人领域。IMSPS被强调为下一代交互式感知-存储-计算集成系统的有前途的方法,旨在开发具有神经形态能力的智能系统,用于多模态、高密度和低功耗的感知处理。最后,我们评估了当前感知-存储-计算集成技术的优势和局限性,并对未来设备架构和模式的发展提供了见解。

部分摘录
**生物神经元**
突触是神经系统中的关键组成部分,通过连接一个神经元的轴突末端(突触前末端)与另一个神经元的树突末端(突触后末端)来促进神经信息的传输(图3a)。这种连接通过精确调节突触强度,实现了复杂的突触行为,如信息处理、学习和记忆[66],[67]。
当神经元受到充分刺激时,会产生动作电位。

**基于IMS的处理系统(IMSPS)**
从单个神经形态设备到功能性仿生机器人感知的转变需要设备特性与特定感官任务之间的严格匹配。基于IMS的基础,IMSPS通过启用多个感官系统的协同操作,扩展了感知检测和存储整合的能力。通过整合多个IMS节点,IMSPS实现了从局部感知到全局感知的层次化数据处理。

**结论与展望**
基于神经形态系统的内存和近内存传感器架构开发的人工感知系统为智能机器人、人机交互和集成感知-存储-计算范式带来了变革潜力。这些系统能够在最小的能源预算下提供强大的计算能力,表现出类似大脑的容错性、适应性、鲁棒性和可重构性。通过利用物理特性……

**作者贡献声明**
钱丁:撰写——审稿与编辑、原始草稿撰写、概念化。
谢新凯:监督、概念化。
郑同:原始草稿撰写、概念化。
李建伟:原始草稿撰写。
陈品珍:原始草稿撰写。
史琼峰:形式分析。
余存江:方法论。
吴俊:方法论。

**利益冲突声明**
作者声明没有已知的竞争性财务利益或个人关系可能影响本文所述的工作。

**致谢**
Q.D.和X.X.对这项工作做出了同等贡献。该工作得到了中国国家重点研发计划(2022YFB3603403和2021YFA1200700)、江苏省基础研究计划(授权号BK20251333)以及东南大学青年学者跨学科研究计划(2024FGC1007)的支持。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号