《Nano-Micro Letters》：Triboelectric E-Skin Patch Decoding Silent Speech for Advanced Human–Machine Interaction and Augmented Virtual Communication
编辑推荐：
无声语音解码（唇读）代表了一种面向喉部和舌部功能障碍人群的创新性免提通信方法，可应对其日常沟通中的关键挑战。本文提出一种新型无声语音解码系统，该系统采用自供电、低成本且适形的摩擦电基电子皮肤（E-skin）贴片以及训练有素的多层卷积神经网络（CNN）模型。研究
无声语音解码（唇读）代表了一种面向喉部和舌部功能障碍人群的创新性免提通信方法，可应对其日常沟通中的关键挑战。本文提出一种新型无声语音解码系统，该系统采用自供电、低成本且适形的摩擦电基电子皮肤（E-skin）贴片以及训练有素的多层卷积神经网络（CNN）模型。研究人员系统地表征了该E-skin贴片的结构原理与电学性能，并对有声语音与无声语音过程中的唇部运动学进行了对比分析，结果表明两者在时频域特征上具有高度一致性。所采用的CNN模型在15个词汇类别（每类别200个样本）上完成训练，实现了98.75%的高准确率，展现出优异的识别性能。此外，通过集成人机交互（HMI）与虚拟现实（VR）技术，研究人员开发了三种代表性应用，包括实时唇语可视化系统、口面部控制的“Feed Frenzy”交互游戏，以及具备虚拟化身对话功能的VR通信平台。该技术为无声人群实现了无障碍沟通，在人机交互、辅助通信系统、虚拟现实集成及生物医学康复等领域展现出巨大应用潜力。
**一、研究背景与拟解决的关键问题**
在日常人际交流中，面部表情与唇部运动不仅是有声语言的组成部分，更是情绪与意图的重要表达媒介。对于因生理缺陷或环境限制而无法使用传统发声方式进行沟通的群体而言，能够捕捉并解读这些细微信号的技术至关重要。然而，现有的无声唇读技术在实际应用中仍面临三大瓶颈：其一，基于视觉采集的方案存在隐私泄露风险，且对照明变化和遮挡的鲁棒性较差；其二，传统可穿戴设备受制于外部供电依赖和复杂的系统配置；其三，唇部运动模式与发音习惯存在显著个体差异，严重限制了识别模型的跨用户泛化能力。与此同时，识别类别数量的不断增加加剧了信号混淆，对有效特征提取与精确分类提出了更高要求。因此，亟需探索自供电的柔性唇部运动传感方案，并结合先进的特征学习策略，以摆脱外部电源束缚、实现舒适且保护隐私的信号采集，并削弱个体运动差异对识别精度的影响。摩擦纳米发电机（triboelectric nanogenerator，TENG）基于接触起电与静电感应机制，可将分散的机械能高效转换为电能，具有自供电、低成本等显著优势，为上述问题的解决提供了理想途径。本研究基于TENG原理研制了一种柔性、低成本、自供电的电子皮肤（E-skin）贴片，用于捕获口面部肌肉运动，并在深度学习辅助下实现无声语音解码、先进人机交互（HMI）及增强虚拟通信。相关成果发表于《Nano-Micro Letters》。
**二、研究方法概述**
研究人员采用接触-分离模式的摩擦电传感机制，以氟化乙烯丙烯（FEP）薄膜和尼龙薄膜分别作为负、正摩擦层，导电银织物为输出电极，海绵作为间隔层，Kapton薄膜封装，制备了6×6 cm2的E-skin贴片。实验数据取自3名参与者（两名女性、一名男性，年龄24–28岁），每名参与者对15个目标词（如blue、yellow、mutton、watermelon等）进行约70次无声发音，每类收集约200个有效样本，共计3000个样本，按8:2划分为训练集与测试集。识别算法采用多层卷积神经网络（CNN）架构，包含4个卷积层（滤波器数依次为64、128、256、512）、2个全连接层及softmax分类层，并引入了早停策略与dropout（率0.5）以提高泛化能力。应用层面，研究人员开发了基于模板匹配的唇语显示系统、基于幅值阈值与峰值计数算法的“Feeding Frenzy”交互游戏，以及基于Unity平台和文本转语音（TTS）模块的虚拟通信系统。
**三、主要研究结果**
**3.1 摩擦电E-skin贴片的设计与表征**
研究人员系统探究了摩擦层材料、器件尺寸、工作频率及电极材料等关键参数对输出性能的影响，发现较小的器件因覆盖面积不足会出现信号幅值过低和严重波形畸变，而6×6 cm2的器件可清晰捕获四音节波形。E-skin贴片在无声与有声发音“hao jiu bu jian”条件下产生的信号特征近乎一致，且无论中文短语还是英文短语“long time no see”，输出传感信号均与发音节奏精确同步，并与音频包络在时频域表现出强相关性（Pearson相关系数r=0.94，p<0.001）。动态时间规整（DTW）距离分析显示，同一短语两次重复间的距离（1.42）远小于不同短语间的距离（2.71），证明了信号具有良好的类内一致性与类间可分性。器件还表现出良好的机械可靠性（30次重复粘贴测试后保持88%输出）与长期稳定性（10,000次循环后无显著衰减），在高湿环境（85%相对湿度）下仍能保持88.1%的输出电压。
**3.2 深度学习辅助的无声语音识别与解码**
研究人员采集了15个目标词的摩擦电传感信号，并利用STFT时频分析与音频频谱分析验证了信号与声学特征的一致性。在此基础上，构建了滤波器数逐层递增（64→512）的四层CNN模型。实验结果表明，卷积层数量从1层增加至4层时，分类准确率由84.9%逐步提升至98.75%。t-SNE聚类可视化显示15个词类的特征在测试集上仍保持清晰分离，表明模型未出现明显过拟合。ROC曲线与混淆矩阵进一步验证了模型对多样语义类别的强判别能力。12次额外重复实验的平均准确率为98.892%，标准差仅0.335%。跨受试者评估表明模型能有效克服个体差异，对陌生用户实现高精度识别；跨天测试的准确率始终保持在97.6%以上。与传统机器学习模型（SVM、Random Forest、KNN）、循环神经网络（LSTM、GRU）及Transformer模型的系统对比结果表明，所提出的CNN在准确率、训练效率和模型复杂度方面均具有综合优势。在3–9词长度的五个代表性英语句子的端到端识别中，系统取得了97.3%的平均准确率。
**3.3 摩擦电E-skin贴片辅助的人机交互**
研究人员开发了集成E-skin贴片的唇语显示系统，利用模板匹配算法将无声发音对应的电信号转换为直观的图形和文本显示，成功实现了对“dog”“watermelon”等词汇的准确识别与可视化呈现，为非语言交流搭建了桥梁。为进一步提升沉浸式娱乐体验，设计了由口面部运动控制的“Feeding Frenzy”交互游戏。四个方向命令（上、下、左、右）被映射到特定的肌肉激活模式：三个单音节命令（up、down、right）呈现单峰波形且峰值电压存在显著差异（分别约为1.1 V、0.9 V和0.7 V），而双音节命令“left”则产生特征不同的多峰突发波形。基于电压幅值阈值和峰值计数算法的轻量级识别策略实现了对四方向命令的精确分类，具有极低的计算开销和响应延迟，适用于实时交互游戏场景。
**3.4 摩擦电E-skin贴片辅助的虚拟通信**
研究人员建立了将E-skin贴片与VR技术相结合的虚拟通信平台，该系统包含口面部运动捕获、通过Arduino连接PC的数据采集、以及基于Unity平台的数据分析三个核心模块。传感信号经识别后被解码为文本，并通过Unity集成的文本转语音（TTS）模块合成为语音实时播放，同时以气泡形式显示在虚拟角色上方。在实测中，两位佩戴E-skin贴片的用户分别控制虚拟角色“Amelia”和“Vanessa”进行了完整的多轮实时对话（如“Hello! How was your trip during the holiday”等），语音内容被准确捕获、识别和转换。DTW分析显示，单词的类内距离（0.5–2.1）显著低于类间距离（2.2–9.0），句子的类内距离低于1.0而类间距离高于1.9，表明信号在连续对话场景中具有高特征可分性且无串扰。
**四、讨论与结论**
本研究通过系统验证了摩擦电E-skin贴片在无声语音解码中的可行性和优越性，其自供电特性有效克服了传统可穿戴方案对外部电源的依赖，而CNN架构的引入则解决了个体差异导致的跨用户泛化难题。单通道器件配合轻量级四层CNN架构，在极大降低系统复杂度和功耗的同时实现了98.75%的高识别精度，超越了先前报道的多数TENG基无声语音系统。三个代表性应用分别从信息可视化、娱乐交互和虚拟通信维度验证了技术的实用价值。该工作为语音障碍人群提供了无障碍通信的可行途径，在人机交互、辅助与替代通信、康复工程、生物医学接口及沉浸式虚拟环境领域展现出显著应用潜力。未来工作将聚焦于集成眼动追踪与脑机接口的多模态辅助系统、基于低功耗边缘AI芯片（如TinyML）的端侧推理、器件微型化、与大语言模型的耦合，以及高介电常数、高电荷密度新材料的探索，以进一步提升系统性能和智能化水平。
