离子门控水库计算技术：实现无需预处理的基于喉咙振动的语音识别

《Advanced Electronic Materials》：Ion-Gating Reservoir Computing for Preprocessing-Free Speech Recognition from Throat Vibrations

　　摘要

物理储能计算为高效的边缘人工智能（edge-AI）提供了一条有前景的途径，然而大多数基于储能器的语音识别演示仍然依赖于麦克风和数字预处理。在这里，我们报告了一个实时口语数字识别系统，该系统通过将π-凝胶-电介质机械电发电机（MEG）传感器与多通道离子凝胶/石墨烯离子门控储能器（IGR）集成在一起，直接处理喉咙振动。MEG是一种可自由变形的电介质基振动传感器，它将发音引起的喉咙表面振动转换为电压信号，然后这些信号被转换为脉冲序列并直接应用于IGR门控，无需任何频谱或手工特征提取。IGR中的通道依赖性狄拉克点移动、非线性电双层动力学以及不同的松弛行为将一维MEG输出扩展为高维储能状态，这些状态通过简单的线性分类器进行解码。这种混合MEG-IGR系统实现了96.8%的实时口语数字识别准确率，证明了离子门控储能器能够从原始生物力学信号中有效提取具有区分性的时空特征。通过消除频域预处理并实现紧凑、低功耗的前端计算，这种方法为设备上的语音接口提供了可行的途径。除了语音识别之外，直接检测喉咙振动还为鲁棒的人机接口、辅助通信技术以及基于抗欺骗生物力学特征的安全认证系统打开了机会。

1 引言

语音识别已成为现代人机接口的基本组成部分，使得在移动设备、可穿戴设备、智能家电和辅助技术中实现语音控制操作成为可能[1]。传统的语音识别系统依赖于麦克风来捕获空气中的声学信号，随后进行计算密集型的数字预处理——例如基于傅里叶的频谱分解、梅尔频率倒谱系数（MFCC）提取和深度神经网络（DNN）推理[2-4]。尽管这些方法在准确性方面取得了显著进展，但它们仍然容易受到环境噪声的影响[5]，并且需要大量的电力和计算资源[6]，因此不适合低功耗的边缘设备。此外，生成式人工智能的最新进展使得合成听起来自然的语音变得越来越容易，这引发了对基于麦克风的语音接口的安全性和真实性的担忧[7, 8]。另一种语音识别方法是测量发音过程中声带和周围组织运动引起的喉咙机械振动[9-14]。最近的可穿戴无声语音接口和“人工喉咙”设备通过使用多种转换机制（包括应变/离子电子传感器和光子实现（例如基于光纤的可穿戴光子人工喉咙）来解码语音内容，并实现从颈部表面运动的无声通信[15]。更广泛地说，光子生物接口的快速进展——包括灵活的光纤平台、用于脉搏波基心肺监测和生物特征识别的可穿戴光子手环，以及用于无袖带血压测量的芯片级光子传感器——突显了用于边缘的鲁棒、微型化生理传感的光子工具箱的扩展[16-18]。这样的生物力学振动信号本质上对环境声学噪声具有抵抗力，因为它们不依赖于空气中的声音传播[9, 12, 14]。此外，它们反映了极难被伪造的生理特征，为安全且抗噪声的语音接口提供了独特的机会。然而，即使使用了振动或接触传感器，现有系统仍然依赖于数字信号处理或深度学习流程[9-14]，这限制了它们在紧凑、低功耗、实时应用中的适用性。物理储能计算（PRC）最近作为一种高效边缘AI系统的有前景的范式出现[19, 20]。通过利用物理设备的内在动态和非线性响应，PRC能够在最小的计算开销下实现高维特征扩展和时间处理，仅需要线性读出即可进行训练。在各种物理储能器[21-40]中，利用离子门控调制电子材料特性的离子门控储能器（IGR）由于其灵活的材料设计、紧凑的设备结构和强大的计算能力，特别适用于边缘AI实现[41-54]。然而，为了将PRC直接与传感器集成以构建完全物理的边缘AI系统，储能器还必须能够适应宽的传感器带宽并保持高计算效率，以实现相对较少的节点数量下的强大性能。在这方面，我们最近开发的基于离子凝胶/单层石墨烯电双层晶体管（EDLT）的IGR实现了卓越的性能、宽带操作和出色的计算效率[53]。这些能力源于石墨烯的双极传输，它提供了丰富的非线性响应，结合了凝胶电解质中的离子运动和电双层（EDL）的充放电动态所产生的多种松弛过程。这种组合产生了一个非常适合实时处理时变传感器信号的高性能物理储能器。尽管取得了这些进展，但基于储能器计算的语音识别演示主要集中在麦克风获取的音频上，并通常依赖于频谱或手工特征提取[21-28]。相比之下，直接处理生物力学喉咙振动信号——无需频域转换或特征工程步骤——却受到了相对较少的关注。此外，当离子门控储能器由这种振动信号驱动时它们的行为及其适用于实时边缘AI实现的潜力尚未得到系统探索。在这里，我们通过将π-凝胶-电介质机械电发电机（MEG）传感器[55]与多通道离子凝胶/石墨烯IGR[53]集成在一起，实现了无需预处理的实时口语数字识别。π-凝胶-电介质是一种粘弹性凝胶材料，通过将π共轭分子（例如卟啉[56]、富勒烯[57]、芘[55]、共轭聚合物[58]等）替换为支链烷基链，在室温下制成无溶剂的液体，然后加入低分子量凝胶剂使其凝胶化，再通过电晕充电使其电介质化。MEG是一种可自由变形的电介质基振动传感器，其中电晕极化的π-凝胶保持准永久电荷，通过变形引起的电位变化敏感地检测喉咙表面振动，同时对环境声学噪声具有内在的鲁棒性。产生的一维电压流被转换为脉冲电压序列并直接应用于IGR门控。通过通道依赖的狄拉克点移动、非线性EDL动力学和不同的松弛行为，IGR将这种输入转换为八种不同的电流响应，这些响应进一步扩展为高维储能状态，并通过线性读出进行解码。尽管MEG的独立识别准确率仅为18.2%，但使用这种混合MEG-IGR储能器，我们实现了96.8%的实时口语数字识别准确率，证明了IGR能够有效提取嵌入在原始生物力学振动信号中的具有区分性的时空特征。通过消除对频谱分析、手工特征或基于深度学习的预处理的需求，我们的方法实现了一种适合设备上语音识别的紧凑且低功耗的物理计算架构。总的来说，这项研究建立了一个完全物理的、无需预处理的储能计算框架，用于实时语音识别。除了语音接口之外，所展示的框架还突出了喉咙振动传感和离子门控储能器在可穿戴通信设备、为有语言障碍的人提供的辅助技术以及基于生物力学特征的安全认证系统中的潜力。

2 结果与讨论

2.1 基于MEG-IGR的语音识别概念和任务设计

图1a展示了本研究中开发的语音识别系统的概念框架，该框架将基于MEG的振动传感器与IGR集成在一起。与传统的麦克风不同，使用了一种π-凝胶-电介质MEG设备[55]来检测发音过程中喉咙（喉结）周围的振动。MEG将这些机械振动转换为电压信号。这些原始电压迹线在传感器的原始采样率下被转换为脉冲电压波形，然后产生的脉冲直接应用于IGR[53]的门控端子。相应的门控、源极和漏极电流响应被视为储能状态，并输入到线性读出层以分类口语数字。由于IGR将MEG信号非线性地扩展为高维时空表示，因此它仅使用轻量级线性模型就能实现准确的语音分类。重要的是，该框架消除了对计算密集型预处理（如基于傅里叶的频谱分析或手工特征提取）的需求，突显了其在低功耗边缘AI应用中的潜力。预期的应用领域在图1b中概述。由于该方法依赖于喉咙振动传感而不是空气中的声音，因此它自然避免了声学耦合，并且对环境噪声的敏感性较低[9, 12, 14]。此外，跟踪生物力学喉咙运动的能力为支持有语言障碍个体的辅助接口提供了潜在用途[14]。随着生成式AI技术越来越能够伪造可听语音[7, 8]，喉咙振动模式的生物力学特性——根植于声带动态和组织运动——也表明其适用于安全个人识别系统。图1展示了基于MEG-IGR的语音识别的概念和数据采集。(a) 提出的语音识别框架的示意图，将π-凝胶-电介质MEG振动传感器与IGR集成在一起。MEG输出电压被转换为脉冲信号并应用于IGR，其电流响应形成用于线性读出的储能状态。(b) MEG-IGR方法的潜在应用，包括抗噪声接口、为有语言障碍个体提供的辅助系统以及基于喉咙振动模式的安全认证。(c) 在喉结下方稍低的位置放置MEG传感器，以在数字发音过程中获取振动信号。(d) 对应于口语数字“零”到“九”的代表性MEG波形，显示了与每个发音相关的独特时间振动模式。为了建立评估所提出框架的数据集，将MEG传感器附着在说话者的喉咙上，位于喉结下方稍低的位置，如图1c所示。通过记录每个口语数字“零”到“九”各50次重复，共收集了500个样本。图1d展示了十个数字的代表性MEG输出。尽管这些波形与声学语音信号有根本不同——因为它们来源于喉咙表面的机械振动——但它们仍然表现出明显的数字依赖性时间模式。本研究中使用的MEG是一种基于可变形π-凝胶-电介质的机械电发电机，通过将烷基-芘液体与低分子量凝胶剂渗透到聚氨酯非织造基质中并随后进行电晕极化来构建，以保持准永久电荷[55]。电介质层的机械变形调节其内部和表面电荷分布，从而产生与施加的振动成比例的电压波动。由于其基于电介质的转换机制，MEG传感器可以检测与发音相关的细微生物力学特征，提供在口语数字类别之间具有高度区分性的丰富时间信息。有关制造过程和材料组成的详细信息可以在方法部分和之前的报告中找到[55]。尽管存在这些具有区分性的时间特征，传统的语音识别流程通常需要大量的数字处理——包括频谱分解、特征提取和深度神经推理——这对低功耗边缘实现构成了挑战。在这项研究中，我们利用IGR的内在非线性动态和计算丰富性直接处理原始MEG输出，而无需任何显式的预处理。这种方法使我们能够评估一种边缘兼容的语音识别设备的可行性，在该设备中，物理储能器提取并转换嵌入在喉咙振动信号中的时间结构。

2.2 基于石墨烯的IGR的电学特性及其对MEG输出的非线性映射

图2a展示了本研究中用作物理储能层的离子凝胶/石墨烯IGR[53]。如光学显微图插图所示，该设备包含多个具有不同几何形状的独立单层石墨烯通道——长度分别为5毫米、20微米和100微米，宽度分别为30微米和80微米——共享一个共同的门电极。六个漏极端子为单个门输入提供六个独立的漏极电流（ID）响应。当施加门电压（VG）时，电解质内的移动离子向石墨烯界面迁移并形成电双层（EDL）[49, 59-61]，从而实现高效的静电载流子注入石墨烯。由此产生的通道导电率调制被检测为漏极电流。关于这种离子凝胶/石墨烯IGR的更多设备物理细节可以在我们之前的研究[53]中找到。图2b-g显示了每个通道的传输特性。为了将EDL驱动的载流子注入响应与石墨烯晶体管中常见的慢速动态过程分开[62, 63]，门电压和漏极电压都以脉冲形式施加，并绘制了每个脉冲的漏极电流值。在脉冲宽度为10毫秒、间隔为1秒的情况下，所有通道都显示出与单层石墨烯的线性分散相关的特征V形传输曲线。这种强烈的非线性传输特性直接有助于储能计算所需的非线性映射能力。为了进一步多样化储能状态，每个漏极端子在不同的电压（VD1 = –1 V, VD2 = –0.5 V, VD3 = –0.1 V, VD4 = +0.1 V, VD5 = +0.5 V, VD6 = +1 V）下进行偏置。如图2b-g所示，狄拉克点（DP）随着VD的变化而系统性地移动，这是由于有效门电压VG,eff = VG?VD/2的减少所致。这种通道依赖的DP移动提供了多种不同的非线性传输函数，丰富了高维储能状态空间。除了DP移动之外，VD的大小还影响高VG平台区域。在石墨烯场效应晶体管（FETs）中，这种平台现象通常是由于在高场强下载流子散射导致迁移率下降而产生的[64]。在离子门控晶体管中，会出现一个额外的效应：脉冲门电压会诱导电极双层（EDL）的充放电电流，这些电流会贡献到测量的门电流中，当漏电流的幅度相当时，这部分离子电流会叠加在漏电流上[41, 53]。这种效应在低漏偏压下的高阻通道中尤为明显——例如，ch3在VD = –0.1 V时。在这些条件下，相对较大的负门脉冲（大约–1到–2 V）产生的门电流与漏电流相比不再可以忽略。因此，如图2d中的紫色箭头所示，漏电流表现出强烈的非线性响应，这类似于随着VG变得更负而通道电阻的明显增加。这些依赖于器件状态的非线性动态的共存表明，离子凝胶/石墨烯IGR为储能计算提供了丰富的非线性基础[53]。

图2：离子凝胶/石墨烯EDLT基IGR的电学特性。(a) 离子凝胶/石墨烯IGR的示意图以及由单层石墨烯通道（长度分别为5 mm、20 μm、100 μm，宽度分别为30 μm和80 μm）组成的多通道器件的光学显微照片，所有通道共享一个公共的门电极。(b–g) 在不同漏偏压（VD1 = –1 V、VD2 = –0.5 V、VD3 = –0.1 V、VD4 = +0.1 V、VD5 = +0.5 V、VD6 = +1 V）下测量的每个石墨烯通道的脉冲传输特性。门电压和漏电压以10 ms的脉冲形式施加，间隔为1秒。(e)的插图显示了石墨烯的狄拉克锥，其中施加的VG对费米能级EF的调制会导致p型或n型行为。图3a–c展示了从MEG输出中获得的数字一、四和九的脉冲形状门电压序列（上面板），以及相应的IGR电流响应（下面板）。MEG传感器的工作频率为500 Hz，IGR与500 Hz的门电压脉冲（占空比为50%）同步驱动。导通状态下的脉冲幅度设置为MEG电压的20倍（最大缩放至4 V），而截止状态固定为0 V。在这些测量过程中，记录了六个漏电流（ID1–ID6）以及门电流和源电流（IG和IS）。因此，IGR将一维的MEG输入扩展为八维的电流响应，这些响应作为储能状态。如图3a–c所示，八个电流响应根据所读数字的不同而表现出不同的时间模式。图3a的插图显示了输入-输出关系的放大区域：门电流显示出与EDL充放电相关的尖峰特征[41]，而漏电流则遵循松弛型动态。由于每个通道由于其漏偏压而经历不同的狄拉克点和非线性传输特性，相同的门输入会在不同通道中产生多样的电流响应。在低漏偏压下（例如ID3和ID4），由于相对较大的离子电流贡献，门电流诱导的尖峰会出现在漏电流中。这些尖峰的出现取决于器件状态和偏压条件，引入了额外的状态依赖性非线性，进一步丰富了储能的计算多样性。

图3：IGR对MEG振动信号的处理以及类别的可分性。(a–c) 从MEG输出转换而来的脉冲形状VG序列，对应于数字一、四和九（上面板），以及相应的IGR电流响应（下面板）。(a)的插图放大了由EDL充放电和松弛型漏电流动态引起的门电流尖峰。(d) 对500个语音样本的IGR电流响应的全时间演化的传统非实时线性判别分析（LDA）。前两个判别轴（LD1, LD2）显示出十个数字类别的明显聚类。(e) 直接对原始MEG传感器输出应用LDA，显示出类别分离不足。与(d)相比，IGR将MEG信号非线性地扩展到一个高维特征空间，从而实现了线性判别。为了将这些电流响应用于实时语音识别，需要从中依次提取时间特征（储能状态），并将这些特征输入到线性分类器中。这样，线性分类器可以输出一系列决策的时间序列。尽管这种实时语音识别方案的细节将在下一节讨论，但我们首先检查图3a–c中显示的IGR电流响应的特性——特别是它们的波形——并评估类别之间的潜在可分性。为此，我们使用了所有500个语音样本的IGR电流响应进行了非实时线性判别分析（LDA）[65]。对于每个语音样本，将八个电流响应中的所有时间点都视为特征。如图3d,e所示，维度被减少到两个判别轴（LD1和LD2），这两个轴最大化了十个数字类别之间的分离。在图3d中，IGR生成的全时间电流响应特征形成了清晰分离的簇，对应于每个数字。相比之下，当LDA直接应用于原始MEG信号（图3e）时，可分性显著降低。这些结果表明，图3a–c中显示的IGR电流响应将原始MEG输出非线性地转换为一个对类别判别有意义的表示。此外，在这个判别空间中彼此位置较接近的类别往往更难以分类，这与它们的波形相似性一致。然而，这种LDA分析利用了每个响应的完整时间序列，使其不适合实时操作，因为分类只能在整个话语完成后进行。传统的语音识别系统依赖于顺序预处理（例如MFCCs或耳蜗图）[21-28]，但这些方法带来了巨大的计算负担，限制了其在边缘设备上的部署。为了解决这个问题，我们直接将原始MEG信号输入到IGR中，不进行任何预处理，并依次采样得到的电流响应，从而实现实时储能状态生成。

2.3 使用MEG–IGR进行语音数字识别

图4a展示了使用MEG传感器和IGR实现的语音数字识别任务的框架。MEG的输出电压被转换成500 Hz的脉冲电压序列——与MEG采样率相匹配——并直接施加到IGR的门端。从得到的八维电流响应中（图3a–c中的示例），在时间窗口tW内依次采样了一组NV个虚拟节点。因此，得到的储能大小N为（N = 8NV），相邻节点之间的间隔为θ。对于每个时间窗口，储能状态向量x = (x1, x2,…, xN, 1)使用读出权重矩阵W进行线性变换，生成一个十维的时间输出y = (y0, y1,…, y9)，具体如下：

图4：使用MEG–IGR储能器的实时语音数字识别。(a) 实时语音数字识别框架的示意图。MEG输出被转换成500 Hz的脉冲电压序列并施加到IGR的门端。从得到的八维电流响应中，在时间窗口tW内以间隔θ采样NV个虚拟节点，形成用于线性读出的储能状态向量。(b) 在固定节点间隔θ = 500 μs时，测试准确性依赖于tW。黑色箭头标记了最小节点配置（tW = 2 ms, N = 32）。(c) 在固定tW = 16 ms时，测试准确性（左轴）和虚拟节点数量NV（右轴）依赖于θ。减小θ可以提高时间分辨率并提升性能，其中最小的θ = 27.8 μs获得了最高的准确性。(d) 最小节点条件（tW = 2 ms, N = 32）下的混淆矩阵，显示了84.2%的测试准确性。(e) 不使用IGR时的MEG信号基线结果。上方：仅使用MEG的PRC基线，通过将32个MEG样本直接输入到线性分类器中获得，其准确性明显低于MEG–IGR系统。下方：传统的数字基线，从MEG信号中提取梅尔频率倒谱系数（MFCCs）并使用线性模型进行分类。(f) 在最佳性能条件（tW = 16 ms, θ = 27.8 μs, NV = 576, N = 4608）下的混淆矩阵，实现了99.8%的训练准确性和96.8%的测试准确性。读出权重W是使用岭回归和针对数字0–9的一热编码目标向量进行训练的，如方法部分所述。对于分类，将单个样本内所有时间窗口获得的时间输出求和，形成一个综合输出向量。然后使用赢家通吃（WTA）规则[21-28]确定预测的数字。图4b,c总结了测试准确性依赖于tW和节点间隔θ的情况，这是通过五折交叉验证（400个训练样本和100个测试样本）获得的。在θ = 500 μs的条件下（图4b），MEG–IGR系统在tW = 2 ms时达到了84.2%的准确性，随着tW的增加而提高，并在tW = 16 ms左右达到饱和。这种改进源于较大的tW使储能器能够捕捉更长时间尺度上的时间相关性，有效地增强了其记忆能力。然而，增加tW会降低实时响应性，并且在固定θ的情况下会增加虚拟节点的数量，从而导致更高的计算成本。图4b中黑色箭头指示的条件对应于tW = 2 ms，此时每个脉冲提取了四个虚拟节点（即N = 32）。相应的混淆矩阵和测试准确性显示在图4d中。值得注意的是，尽管储能器尺寸极小，MEG–IGR系统仍实现了84.2%的准确性，优于图4e上面板中显示的仅使用MEG的基线。仅使用MEG的结果是通过将等量的点（相当于tW = 64 ms的32个点）直接输入到线性分类器中获得的，实际上将MEG传感器视为一个物理储能器。仅使用MEG的基线准确性较低（≈18%；图4e，上面板），这可以通过图3e中的LDA结果来解释，该结果表明MEG测量的原始喉部振动动态并不易于在语音数字类别之间进行线性分离。因此，直接将传感器输出输入到线性模型中的方法对于这项任务的判别能力有限。然而，重要的是，MEG波形仍然包含了可以由非线性处理或适当的特征提取利用的数字依赖信息。与此一致的是，从MEG信号中提取梅尔频率倒谱系数（MFCCs）并应用线性分类器的传统数字基线实现了91.6%的测试准确性（图4e，下面板）。MFCC基础流程的详细信息在注释S1和图S1中提供。这些比较表明，IGR作为一个紧凑的物理特征扩展前端，使得MEG信号更易于线性解码，同时避免了传统的数字预处理。使用IGR实现的显著改进证实了其提取和放大MEG信号中嵌入的判别特征的能力。这得益于IGR的高信息处理能力（IPC）[66]——包括非线性变换和记忆——以及IGR本身的高维度[53]。通过将输入投影到由过去状态及其高阶相互作用构成的空间中，IGR实现了语音数字模式的线性判别。关于这个IGR平台的IPC特性的更多细节在我们的先前研究中提供。图4d中的混淆矩阵显示，错误分类主要发生在相邻的数字组之间（例如0–3和6–9）。这与图3d一致，这些数字类别在判别子空间中占据相近的位置。通过提高储能状态的时间分辨率——即减小θ和增加NV——可以改善这些紧密相邻类别之间的可分性，从而能够更细致地采样IGR电流的时间动态。图4c绘制了分类准确性（左轴）和虚拟节点数量NV（右轴）依赖于θ的情况，时间窗口为tW = 16 ms（对应于八个MEG脉冲）。在所有θ下，准确性始终高于94%。正如NV = tW/θ所预期的，减小θ会增加节点数量，并通过允许储能器以更高的时间精度捕捉IGR输出的尖峰和松弛动态来提高分类性能。在最小的θ = 27.8 μs时获得了最高的性能，如图4c中的黑色箭头所示，训练准确率为99.8%，测试准确率为96.8%（图4f）。值得注意的是，这一测试准确率略高于最近报道的96.2%的准确率，后者是使用基于忆阻器的深度神经网络进行模拟内存计算得出的，该网络从TI-46口语数字数据集中提取特征，而无需数字预处理[67]。与这样的多层非线性架构相比，MEG–IGR系统仅使用一个物理储能层和一个线性读出单元就实现了相当甚至更优越的性能。这突显了离子门控储能器的强大非线性转换能力及其直接从原始传感器信号中提取区分性特征的有效性。尽管这种配置导致储能器尺寸相对较大（NV = 576，N = 4608），但图4c清楚地展示了储能器尺寸与计算性能之间的权衡：通过调整θ，准确率可以在94.4%到96.8%之间进行调整，同时NV可以从32变化到576。这里，物理节点的数量NP固定为八个，整体储能器尺寸仅通过θ来调节NV来调整。这种调整对应于控制从IGR电流响应的时间演变中提取信息的程度。图S2a再现了在固定物理节点数量（NP = 8；相当于图4c）的情况下分类准确率的NV依赖性，而图S2b显示了当NV固定为576时对物理节点数量的依赖性。这些趋势的比较表明，在研究的范围内，物理节点的数量对整体性能的影响大于NV。这表明储能器有效维度的主要贡献来源于物理通道的多样性，这不仅来自于通道电阻的几何变化（因此是松弛时间的变化），还来自于通过独立施加不同的VD偏压引入的传输特性的多样性（即非线性）。因此，调节NV（即调整θ）提供了一个实用的手段，可以在保持高于94%的高准确率的同时灵活平衡计算成本和性能。这种储能器尺寸与分类准确率之间的自适应可调性对于边缘AI部署非常有利。根据系统需求——所需的准确率、允许的功耗、可用的计算资源，以及训练是在设备上还是在云端进行——MEG–IGR储能器可以灵活配置为低资源模式或高性能模式。这种可配置性对于实际部署边缘智能传感平台至关重要。此外，初步的功耗特性分析（注S2和表S1）表明，在当前的脉冲偏压条件下，IGR的平均功耗为5.09 mW，相当于每次词推理的能量成本为3.72 mJ（即一次话语的时间积分功率）。由于总体能量预算与施加的漏极偏压和采样的储能器状态数量成正比，可以通过同时将漏极电压降低到∣VD∣≤0.1 V并通过更粗的时间复用（更大的θ，例如θ = 500 μs）来实现低功耗操作模式。在这种组合设置下，平均功耗预计将降至大约150 μW，相当于每次词约109 μJ。尽管储能器状态和读出输出是实时顺序生成的，但目前的实现是通过在整个话语中对时间积分输出应用WTA决策来获得最终分类的。因此，在一个词完全发音之前，会存在端到端的决策延迟。在我们的数据集中，平均波形持续时间为0.73秒；因此，如果决策是在整个波形积分之后做出的，延迟大约是这个持续时间（加上线性读出的可忽略不计的计算时间）。为了探索延迟减少，我们评估了一种早期决策策略，其中WTA决策仅使用每个话语的初始部分来计算。图S3绘制了分类准确率作为决策时间（即用于WTA的初始段的长度）的函数。虽然在语音开始后立即准确率较低，但它迅速增加，在大约200毫秒时达到大约83%。这一结果表明，MEG–IGR系统可以通过利用早期时空特征在话语结束前快速进行分类，为低延迟操作提供了可行的途径。为了将这些结果放在更广泛的背景下，表S2提供了与代表性PRC方法的并行比较，总结了包括分类准确率、预处理要求、功耗/能量消耗和决策延迟在内的关键实际指标。总体而言，MEG–IGR平台提供了一个竞争性强且高度可配置的操作空间——从低资源、低功耗设置到更高性能模式——同时保留了直接从原始传感器信号中提取区分性特征的能力。

2.4 展望

然而，在实际操作环境中，由于噪声和运动引起的伪影（例如，传感器位移、皮肤运动和机械引起的基线波动），分类任务预计会变得更加具有挑战性。在这种情况下，最有效的方法之一是尽可能多地结合在不同噪声水平和运动条件下获取的样本作为训练数据。通过在训练期间让读出暴露于这种变化中，系统可以学习更多不变的决策边界，并对现实世界的干扰更加鲁棒。作为未来工作，将系统地在受控的噪声和运动场景下验证其鲁棒性。作为进一步的未来方向，评估其可扩展性非常重要，包括扩展到不同语言、更大的词汇量以及连续语音识别。值得注意的是，在我们的框架中，MEG和IGR同步运行，读出为每个时间窗口顺序产生输出，从而实现了本质上的流式（实时）推理。这一属性预计对于连续识别是有利的，因为预测可以逐窗口更新，并与时间分割/解码策略结合使用。同时，大词汇量的自然语言处理（例如，语言建模）通常超出了单独使用储能器计算的常规时间序列任务的范围。在这种情况下，MEG–IGR设备预计将作为一个低功耗前端，从原始生物力学信号中提取信息丰富的时空特征，并与专用于更复杂语言推理的更高级数字处理器接口。另一个有前景的方向是设备上的学习。通过将IGR与高性能的忆阻器阵列集成作为内存读出网络，可能实现本地训练和设备上的权重更新。这种方法不仅可以提高能源效率，还可以在隐私和安全性方面提供优势，并允许对语音识别模块进行用户特定的个性化。最后，多模态集成——即结合多个任务专用的物理储能计算单元——可以为分析和处理来自MEG之外的各种先进传感设备的生物信号提供一个强大的机器-人类接口。特别是，跨功能RC单元的协调推理可能有助于减轻由于姿势变化或运动引起的喉咙振动变化而导致的误识别。

3 结论

在这项研究中，我们展示了一个实时口语数字识别系统，该系统将一个安装在喉咙上的π-凝胶-电泳MEG传感器与基于离子凝胶/石墨烯的IGR集成在一起。MEG捕捉发音过程中产生的机械振动，而IGR直接处理这些原始振动信号，无需任何频域预处理，如MFCC或耳蜗图。通过利用IGR固有的非线性动态、高维状态扩展和记忆特性，系统在紧凑的物理储能器内实现了语音模式的有效线性分离。我们首先表征了多通道石墨烯IGR的设备属性，并展示了通道几何形状和漏极偏压的变化产生了适合储能计算的多样化非线性传输特性。当由MEG衍生的脉冲输入驱动时，IGR产生了八维电流响应，其时间演变编码了具有丰富非线性结构的数字依赖特征。即使使用最少的节点数量，系统也实现了84.2%的准确率——显著优于仅使用MEG的基线——证明了IGR的强大计算能力。通过提高节点采样分辨率，准确率进一步提高到96.8%，使用了576个虚拟节点。这些结果突出了MEG–IGR物理储能计算的几个关键优势：（i）消除了预处理流程和频谱分析；（ii）为边缘部署提供了计算性能和储能器尺寸之间的可调权衡；（iii）在具有挑战性的声学环境中对喉咙振动的感知具有鲁棒性；（iv）基于难以伪造的生物力学特征的安全用户认证潜力。这些发现强调了基于IGR的物理储能器作为下一代边缘AI传感设备的高效和灵活计算前端的前景。未来的工作将探索将MEG–IGR平台与设备上的学习、多模态感知以及更广泛的人机接口类别集成，进一步扩展其在可穿戴、辅助和安全边缘智能系统中的适用性。

4 实验部分/方法

4.1 凝胶-电泳MEG传感器的制造和喉咙振动信号的记录

本研究中使用的机电发电机-电泳传感器是按照之前报道的方法[55]制造的。这里我们简要说明。将烷基化芘液体[55]与1 wt.%的凝胶剂化合物N,N’-((1S,2S)-环己烷-1,2-二基)十二烷酰胺[68]混合，并浸入聚氨酯非织造布（MELTBLOWN NONWOVENS UC0040，Kuraray Kuraflex Co., Ltd., Japan）中。电晕放电参数包括施加的电压+80 kV、温度100°C、加热30分钟和极化90分钟。正放电使用电晕放电枪（GC90PN，Green Techno Co., Ltd., Japan）进行。传感器在聚氨酯（Breath Roll BR15，Nitto Co., Ltd., Japan，厚度13 μm）上制造，通过应用镀银尼龙纤维（AGposs，Mitsufuji Co., Ltd., Japan，纤维长度=3 mm），并在末端连接一根铜带以连接到导线（图1a）[55]。Breath Roll也用作聚氨酯遮蔽层。使用Scotch修补带（3 M Company, USA）将柔性传感器固定在喉结下方。在语音过程中，传感器的开路电压（Voc）在配备1 MΩ输入阻抗探头的示波器（MT-775，MotherTool Co., Ltd., Japan）上记录。传感器的底部电极连接到探头上，顶部电极接地。语音包括将每个数字从零到九重复100次，并每次在示波器上记录输出。

4.2 离子凝胶/石墨烯IGR的制造和电学测量

通过化学气相沉积（CVD）生长的单层石墨烯转移到SiO2/Si基底（300 nm SiO2）上，购自Graphenea（西班牙）。石墨烯通过干法蚀刻形成六个独立的通道：宽度为30 μm，长度分别为5、20和100 μm（ch1–ch3），以及宽度为80 μm，长度相同的通道（ch4–ch6），如图2a的插图所示。源极和漏极电极通过光刻和电子束蒸发Cr/Au（10/50 nm）定义。离子凝胶电解质是通过化学凝胶化离子液体1-乙基-3-甲基咪唑基双（三氟甲基磺酰）酰亚胺（EMIm-TFSI）合成的。在搅拌下，将聚（二甲基氨基乙基甲基丙烯酸酯）（PDMEMA）的聚合物溶液（200 μL）与EMIm-TFSI（1 mL）混合，然后加入交联剂N,N,N,N’-四（三氟甲基磺酰）十二烷-1,12-二胺（C12TFSA）（200 μL）。在300 rpm下混合30分钟后，将溶液浇铸到Si晶片上并在100°C下加热15分钟以诱导凝胶化。得到的离子凝胶片（约500 μm厚）被切割成适当大小，层压到石墨烯通道上，并在带有涡轮分子泵的真空室中干燥过夜。在凝胶上放置一层1-μm厚的Au箔作为公共栅极电极。电学测量在室温下的真空低温恒温箱中进行，所有设备接触点都通过Al导线连接。使用4200A-SCS半导体参数分析仪（Keithley, USA）的脉冲测量单元（PMU）施加栅极电压脉冲，从而能够时间分辨地获取所有六个石墨烯通道的栅极、漏极和源极电流响应。

4.3 读出权重训练

如图4a所示，给定时间窗口的储能器时间输出是根据方程（1）从储能器状态向量x获得的。这里我们描述了用于计算读出权重矩阵W的程序。设x1表示从第一个训练样本的第一个时间窗口获得的储能器状态向量，x2、x3……表示从所有后续时间窗口的所有训练样本获得的向量。通过按顺序堆叠这些向量，我们构建了储能器状态矩阵X = (x1, x2,…, xM)T，其中ni是第i个训练样本的时间窗口数量。对于每个状态向量 xj，我们使用一个独热编码（one-hot representation）来定义相应的教师向量 yt,j，以表示真实的数字标签。将这些教师向量按行排列，我们得到了教师矩阵 Yt = (yt,1, yt,2,…, yt,M)T。读出权重矩阵 W 是通过岭回归（ridge regression）方法训练得到的，

其中 λ = 0.001 是正则化参数，I 是单位矩阵。分类准确性是通过在话语（样本）级别上进行5折交叉验证来评估的，每个分割中使用了400个样本进行训练，100个样本进行测试。由于所有500个话语都是从同一个说话者在同一录音会话中，在相同的采样条件下获得的，因此训练/测试的分割不会受到说话者间或会话间变异性的影响。尽管如此，为了进一步增强评估的稳健性并消除任何无意的偏见，这些话语被随机划分为五个互斥的组，同时保持每个组中的类别平衡（数字0–9）。重要的是，划分是无缝进行的，这样（i）没有一个话语同时出现在一个组的训练集和测试集中，以及（ii）每个话语在五个组中恰好被使用一次作为测试数据。

致谢
本研究部分得到了JST PRESTO项目（项目编号JPMJPR23H4）和JSPS KAKENHI项目（项目编号JP24KJ0299（JSPS研究员资助）、JP25K17941以及JP25H01264（“π-分子复杂性”变革性研究领域资助）的支持。此外，本研究还得到了日本文部科学省（MEXT）的“先进材料与纳米技术研究基础设施（ARIM）”项目的支持。同时，本研究也得到了日本创新科学技术安全计划（Innovative Science and Technology Initiative for Security）项目（项目编号JPJ004596，ATLA）的支持。我们还要感谢日本文部科学省的世界顶级国际研究中心计划（World Premier International Research Center Initiative, WPI，项目编号JPMXP1224NM5236和JPMXP1225NM5329）的资助。D.N. 感谢NIMS的国际青年科学家中心（International Center for Young Scientists, ICYS）提供的奖学金。我们还要感谢NIMS的Fukuda Kota先生在获取π-凝胶电泳MEG传感器数据方面提供的帮助。

资金支持
本研究得到了JST PRESTO项目（项目编号JPMJPR23H4）、JSPS KAKENHI项目（项目编号JP24KJ0299（JSPS研究员资助）、JP25K17941、JP25H01264（“π-分子复杂性”变革性研究领域资助）以及日本创新科学技术安全计划（项目编号JPJ004596，ATLA）的支持。

利益冲突
作者声明没有利益冲突。

数据可用性声明
支持本研究结果的数据可以应合理要求从相应作者处获得。