综述：面向智能人工感知与多模态融合的神经形态硬件材料：从感知到认知

《Interdisciplinary Materials》：Neuromorphic Hardware Materials for Intelligent Artificial Perception and Multimodal Fusion: From Sensing to Cognition

　　

生物感官系统的特征在于感知、记忆与计算的紧密集成执行，为下一代人工智能硬件的发展提供了重要范式。相比之下，基于冯·诺依曼架构的传统感知系统常受限于密集的数据传输、高功耗及实时适应性不足。为克服这些限制，神经形态器件作为极具前景的硬件平台被广泛探索，因其可在物理层面模拟突触可塑性与神经元样脉冲动力学，从而实现感内计算（in-sensor computing）与近传感器计算（near-sensor computing）。本综述系统总结了基于神经形态硬件的智能人工感知系统的最新进展。首先讨论了两端忆阻器件、三端神经形态晶体管及相关集成架构的工作原理、材料体系与功能特性。随后回顾了神经形态视觉、触觉、听觉及化学感知方面的代表性进展。特别关注了多模态融合系统，其中异构感知信息可在硬件层面实现时间协调、物理耦合与联合处理。最后讨论了仍制约实际部署的关键挑战，包括器件非理想性、阵列级均匀性、大规模集成、外部供电依赖及硬件?算法协同优化。未来进展有望依赖于材料、器件、电路与算法的协同进步。这些努力将推动神经形态人工感知从单一功能仿生走向可扩展的多模态认知系统。

1 引言

生物智能源于感知?认知?决策高度演化的闭环信息流，其感官系统以极致能效与鲁棒性成为自然选择的典范。从视网膜对光信号的压缩与边缘提取，到耳蜗基底膜的频率选择性响应，再到皮肤机械感受器介导的即时触觉反馈，生物感觉并非简单信号收集器，而是于源头完成冗余噪声消除与高价值特征提取的初级处理单元。这些经预处理的离散脉冲信号通过分层神经网络进一步整合，实现多模态融合与联想记忆，最终引导运动皮层做出毫秒级决策，而整个人脑仅消耗约20 W即可完成系列复杂时空信息处理。这种“感知?记忆?计算”的自然集成架构，连同基于稀疏脉冲的信息传输，构成了生物系统在动态非结构化环境中高效生存的基础。随着物联网、自动驾驶、具身人工智能及可穿戴医疗设备的爆炸式增长，对人工感知系统的需求已从简单“看”与“听”演变为认知理解、精确解读与快速响应，从而对低功耗、实时响应与自适应学习提出严苛要求。然而，主流人工感知硬件仍受限于传统冯·诺依曼架构的物理分离：传感器、模数转换器、存储器与处理器分立，导致模拟信号须经由高频高精度模数转换，海量原始数据（即便含大量静态背景与噪声）频繁在存储与计算单元间搬运，不仅造成“功耗墙”（数据传输能耗远超计算本身），还导致严重的“存储墙”与传输延迟。对于避障无人机、触觉反馈假肢等电池供电边缘设备，高能耗与高延迟已成为进一步智能化的障碍；同时摩尔定律放缓使单纯缩小晶体管尺寸提升算力的路径日益困难。因此，探索模仿生物感知?记忆?计算一体化的新计算范式，成为后摩尔信息技术的重大需求。神经形态器件为此提供了物理途径：其核心理念是利用新兴电子器件的物理属性，在硬件层面直接模拟生物神经元与突触行为，构建感内或近传感器计算系统。当前神经形态硬件主要包括两端忆阻器件与三端神经形态晶体管，通过电导或非易失阈压调制，精准模拟突触可塑性与神经元积分发放动力学，避免计算与存储间频繁数据移动及能耗。新型感知范式正推动变革：光电突触器件可在感光同时完成图像预处理；压电与摩擦电神经形态器件可将机械刺激直接转为电脉冲并提取特征；电化学晶体管为嗅觉味觉等化学感知提供独特的离子?电子耦合优势。这种深度功能集成消除了模数转换需求，使系统能效提升数个量级，也为精确单模态感知与高效多模态融合提供硬件基础。目前神经形态感知技术已覆盖视、触、听、嗅、味核心模态，并通过光机协同、热电耦合等物理机制实现器件级多模态融合，显著增强复杂环境感知鲁棒性。本文系统综述基于神经形态器件的智能人工感知进展，阐述新兴材料与器件架构如何在硬件层复现生物感官的感知与初处理功能，并推动从单模态到复杂多模态融合系统的演进。

2 器件机理

为应对传统冯·诺依曼架构在面向感知计算中的低能效与严重数据移动瓶颈，神经形态器件为兼具高能效、实时响应与自适应能力的边缘感知系统提供了高度可行的物理路线。本节系统介绍人工感知用神经形态器件基础，聚焦其核心硬件原理与技术路线。首先按结构特征与物理机制分类神经形态器件，描述其模拟生物突触与神经元功能的基本原理；其次分析器件如何实现权重的非易失存储、动态调制及脉冲信号的时空积分与发放，并总结能效、计算密度、精度与学习能力等关键评价指标，为技术发展提供基准框架；最后讨论基本器件如何组织为有效神经形态架构，涵盖单元互连、阵列设计、存内计算（IMC）及系统级传感?计算融合，旨在建立从器件物理到系统架构的框架。

2.1 分类与物理机制

神经形态计算试图通过硬件模拟生物神经系统，构建高能效、大规模并行与自适应学习的新范式，其物理实现依赖可重现突触可塑性与神经元行为的神经形态器件。按材料体系、物理机制与结构设计呈多样性，通常分为两端器件、三端（或多端）器件及面向集成的复合结构。每类对应特定工作原理与应用目标，共同定义技术演进。

2.1.1 两端器件

两端器件常采用垂直金属/功能层/金属三明治结构，权重更新（写）与读出的推断操作共享同对电极，优势在于结构简并易缩放，适于大规模集成以模拟神经网络巨量突触连接。其原理基于材料电阻态的非易失或挥发性转变，实现电导连续或离散调节（对应突触权重）。典型包括忆阻器（离子迁移致导电通路变化）、相变存储器（晶?非晶可逆相变致大电阻差）、磁隧道结（自旋转移矩调磁化方向致隧穿磁阻变）及铁电隧道结（铁电畴极化反转调势垒与隧穿概率）。两端器件为构建高密度神经形态阵列奠基：交叉阵可直接映射突触权重矩阵，物理统一乘加运算与数据存储（即IMC），从根本上缓解存储墙并显著提升能效。

2.1.2 三端器件

虽两端器件在集成密度占优，但两端配置限制功能控制灵活性，催生三端及多端器件（尤神经形态晶体管）。源漏间导通道外引入栅极第三端，栅压高效调控沟道载流子浓度与输运，以模拟复杂突触与神经元动力学；且栅控写与源漏读路径分离。按栅控物理机制分：浮栅/电荷俘获晶体管借注入/释放电荷非易失移阈压；电解质栅晶体管用电解质栅介，离子驱动电化学掺杂动态调沟道电导，类神经递质释放拟短期可塑性；铁电场效应晶体管引铁电非易失极化作栅介，多态调沟道电导。三端结构优势在栅极精确电控，通过栅信号时序/幅值/波形拟尖峰时序依赖可塑性等；双栅多栅结构更允单器件接收处理异源时空信号，实现树突计算。

2.1.3 集成架构

单类器件难兼顾密度、可控性、能效与复杂度，故提出多种集成架构平衡性能。经典1T1R（晶管串忆阻）抑潜行路电流；1T-nR支单管驱多忆阻单元，支持多位权重与差分计算；三端集成如1T+1TriR及2T+1TriR独立调三端突触电导，实现读写分离。神经形态器件演进轨迹清晰：两端高密度基阵列，三端增功能复杂，各类集成架构奠工程基础。焦点已从单器件优转向面向任务异构集成与跨层协同设计，结合材料机制与结构特性，自算法架构工艺系统优化，破常规范式推新一代智能感知。

2.2 器件功能

生物神经网络协调突触与神经元两类核心单元。突触以可塑性为主：按保留分短期可塑性（STP）与长期可塑性（LTP），对应兴奋/抑制后突触电流。神经元接收整合传导信息：树突入，胞体时空积，膜电位超阈全或无动作电位，轴突传至突触前化学信号。硬件模拟突触靠调电导拟权重演化：STP借界面电荷俘获瞬过程；LTP由特定序列非易失多级电导调（如导电桥忆阻器Ag⁺丝成断）。神经元模拟关键在模数转离散脉冲：积分发放模型最基，阈开关器件（如莫特忆阻器）突跃发放；漏积分发放增泄漏项拟膜电位衰。VO₂基莫特忆阻器借绝缘?金属相变陡阈与自热复位集积阈漏于单器。更复杂霍奇金?赫胥黎等模型借氧化物或CMOS混合实现适应与爆发。架构上突触STP+LIF成动态滤波网；突触阵STDP/LTD+SNN层硬件在线学习。突触可塑供学习记忆物理基，神经元脉冲动赋能事件驱动稀疏处理，定义神经形态与传统数字计算本质区别。

2.3 器件关键性能指标

需自仿生准确度与工程可行两维评：突触器件核心在LTP/LTD线性对称与区分态数（宜>64态/6位），非线性因子α近零，及耐力保留均匀与飞焦级能耗纳秒速；表列阻变存储器（RRAM）、相变存储器（PCM）、铁电随机存取存储器/铁电隧道结（FeRAM/FTJ）、磁阻RAM（MRAM）、电解质栅晶体管/电化学RAM（EGT/ECRAM）、铁电场效应晶体管（FeFET）、浮栅FET等参数范围与适用性。神经元器件关键在发放保真（稳阈线增益复设）、动态丰富性及单动作电位飞焦能耗，频响饱和限信处速。整体评价非逐指标最优，而依场景平衡：在线训重线性耐力，固定权推断重低功快读。

2.4 神经形态架构

传统传感数据经高能耗转换长距传，近内存计算（NMC）同片嵌非易失存与计算缩路径；近传感器计算传感仅被动采。存内/传感器计算（IMC）高阶：SRAM基IMC用阵直加速矩乘但参需外载；嵌入式非易失存IMC存参于忆阻等直模域算，最小化数据移。感知导向神经形态系跨材料器件电路架构层协同设计，自物理调控经突触神经元功能优，达近感内算能效极。

3 神经形态感知

3.1 神经形态人工视觉感知

生物视觉分层高效处理，传统CMOS传感器感算分离受冯·诺依曼瓶颈限。神经形态视觉借忆阻/光电晶体管本征可塑性，光感权重存预处理单器件集成。关键在光诱突触可塑性机制：氧空位电离复合（如IGZO照致载流增持光导）、半导体载流陷阱释（2D/硅纳米晶）、异质结建场分载流子（钙钛矿量子点/有机半）。材料自0D量子点至2D MoS₂及氧化物兼容CMOS。功能面：图像感知预处理（CNT/钙钛矿阵卷积核弱光强化辨；1T1OEM阵电光共调STP?LTP模板匹配96.1%准）；颜色与多光谱（垂直锥阵IGZO/TaO_x Spiking cone；分子偶极宽谱；PdSe₂/MoTe₂紫外?近红外线应；64k CNT/MoO₃异质结紫外?中红10.6 μm融合成像99.58%准）；运动感知（双向分子晶异质结阵摆迹90%车辆辨）；光适应高动态（MoS₂缺陷电调199 dB；石墨烯/PbS近红外暗视；有机光电晶体管毫伏调抗饱）；仿生电子眼（叠眼Al涂微管广视；中央凹非均匀采样CMOS减数据；章鱼眼离子胶柱阵365?970 nm视跟无外电）。低维材料各维优缺混杂选重要。

3.2 神经形态人工触觉感知

传统电子触频采冗数据限实时。神经形态触感借压阻/压电/摩擦电机理与神经晶体管融合。电容触敏ITO晶体管阵金字塔微结构线容响应拟莫尔斯码及痛觉阈值；多栅突触晶体管压电纳米发电机空时压序识“S”“H”图锁；摩擦电纳米发电机（TENG）自供双极晶体管强压频编码85.8%字识及呼监；TENG?双稳电阻四通道空时拖敲辨；摩擦电位离子胶门材辨识九材；非接触气流发毛感 memristor 500?1500 Hz 92%准；光域机光突触ZnS:Cu+CaSrS:Eu光子库视触多模；压力温度多模另述。

3.3 神经形态人工听觉感知

听为全天候感。TENG声压转脉供离子电子晶体管STP/LTP加权积及多普勒加解密；听触双模TENG?晶体管空间声源定轨；内耳迷宫转感TENG+孔SiO₂晶体管360°声定6.3 pJ/事件；仿柯蒂氏器压电纳米纤螺电极频分语音3D定超人；声表面波（SAW）忆阻Ag/SiO₂/Au相移片上矩乘91.7%准。SNN的LIF/STDP适听事。

3.4 嗅觉、味觉及其他神经形态感知

嗅：碳纳米管神经晶体管NO₂紫外抑稳态；嗅觉启有机电化学晶体管离子胶双气门逻；生物受体杂交链脂酸90%辨。味：壳聚糖离子胶/SnO₂纳米线咸觉1 mV STDP预警；石墨烯化学晶体管串五味甘酸苦鲜咸及MoS₂皮质阈调；液介氧化石墨烯膜离子限流算。温湿：Ag/Nafion/ITO阈开忆阻风音识。

4 多模态融合

生物多通道整合。视触近感BASE水凝胶离子缆EPSC肌缩抓；TENG/ReS₂/CuInP₂S₆铁电势移位触视95.46%数识；机光ML+PSL ZnS:Cu/CaSrS:Eu光库无布线98.6%材识；红外Te忆阻光电阻多模贮算；LiNbO₃压电热多模。视温纳米纤维OX缺陷温调98.8%准；单管栓浮体光温指防伪。触温VO₂串压阻振Braille及柔性Cr₂O₃/VO₂交叉模态脉冲感98.1%目识；AgNW阵触温热四级反射痛反。多模时空权联硬层完减移提鲁棒。

5 结论与展望

神经形态人工感知解耦冯·诺依曼，两端忆阻三端晶体管硬件拟生视触听化感；多模时权联硬层提认抗。然器件非理想性（随机漂移不均潜行扰）与系统工约（柔封生兼）限实装。需跨材料2D/QDs异质界面、器件1T1R多栅、CMOS兼容制程、算法事件驱动储池学协同。趋高密度低功多模感存算平台深耦具身智，机器人健康沉浸交互突破。