基于过渡金属二硫化物（Transition Metal Dichalcogenide, TMD）的多功能电子皮肤用于AI增强的多模态人机交互与机器人控制

《Aggregate》：Multifunctional Transition Metal Dichalcogenide-Based Electronic Skin for AI-Enhanced Multimodal Human–Machine Interaction and Robotic Control

　　

可穿戴电子皮肤（e-skin）通过将生理感知与环境感知无缝集成于机器人控制中，为人机交互提供了变革性途径。研究人员提出了一种多功能e-skin平台，其中二维过渡金属二硫化物MoSe2支撑NO2传感、光探测与场效应晶体管（FET）操作，而金基结构实现表面肌电（sEMG）采集与温度传感。代表性器件性能包括：NO2传感范围0.5–10 ppm，光探测器开关比超过100，温度灵敏度2.2 Ω °C?1。通过集成基于sEMG的肌肉活动识别、语音命令及大语言模型（LLM）辅助任务规划模块，研究人员建立了多模态人机交互框架，将高层语义指令与底层sEMG衍生的运动技能结合，实现直观的机器人任务执行。该框架结合语音命令与基于sEMG的控制，使机器人能够完成物体检索、物体操控与四足运动等任务，促进人类意图向机器人动作的直观转化。使用一名受试者10轮采集的六手势sEMG数据集，e-skin系统采用10折按轮交叉验证（八轮训练、一轮验证、一轮测试）评估；门控循环单元（GRU）分类器平均折准确率97.88% ± 1.50%（总体标准差）、合并平衡准确率97.91%、Cohen's κ 0.9747、宏F1分数97.92%，并成功集成至实时机器人控制。本工作为下一代辅助机器人、遥操作与工业自动化中无缝人机协作的可扩展基础奠定基础。

研究背景方面，自主机器人在环境监测、医疗与工业自动化中愈发关键，但传统系统依赖预编程指令或基础传感器，难以在动态环境中实时解析复杂环境数据与人类意图。现有电子皮肤多聚焦单一生理或环境传感，缺乏将生理、环境与任务信息融合的多模态接口。为弥补这一缺口，研究人员开展了一项基于过渡金属二硫化物（TMD）的多功能电子皮肤平台研究，相关成果发表在《Aggregate》。该研究旨在构建可贴肤、轻量、多模态感知的人侧人机接口（HMI），将MoSe₂的NO₂传感、光探测与FET操作与金基sEMG采集及温度传感集成于聚酰亚胺（PI）/Au蛇形架构中，并结合GRU手势解码与大语言模型（LLM）任务规划，实现语音+sEMG分层控制四足机器人、机械臂与人形机器人。

主要关键技术方法上，研究人员采用金辅助剥离转移获取少层MoSe₂薄片，通过PI旋涂、光刻、Au沉积lift-off、反应离子刻蚀（RIE）、Al₂O₃栅介质沉积与PI封装构建蛇形柔性e-skin；sEMG信号来自单名受试者前臂桡侧伸肌与指伸肌双通道差分电极（肘部参考），经50 Hz陷波、差分滤波、1 s滑窗（200 ms刷新）预处理后送入GRU分类器（隐藏层100，Adam优化，10折按轮交叉验证）；语音经Whisper转写后由本地Llama分解高层子任务，与sEMG技能原语在MuJoCo仿真及Unitree A1/Franka Panda/Unitree G1实机或仿真平台融合执行。

研究结果部分，2.1节“多功能电子皮肤系统表征”通过光学显微、拉曼、AFM及电学测试表明，MoSe₂ NO₂传感器在0.5–10 ppm范围呈浓度依赖响应，365 nm紫外下光探测器开关比>100（响应20 s/恢复1 s），FET表现n型转移特性（开关比~10⁶，迁移率0.99 cm² V^?1 s^?1），金蛇形温度传感器在30–50°C灵敏度2.2 Ω °C^?1；蛇形PI/Au架构在弯曲拉伸扭曲下形变稳定，100次循环ΔR/R₀变化<5%，但未做汗液/洗涤长期耐久。2.2节“基于sEMG的手势识别与机器人控制”显示双通道sEMG+GRU对六手势分类离线准确率97.88%，200 ms刷新下实时驱动四足机器人转向/进退/升降，同一解码管线重映射后可控制Franka Panda机械臂抓取/平移/升降及人形机器人仿真，证明接口跨平台可迁移。2.3节“语音与sEMG集成的多模态人机交互”构建Whisper→Llama→子任务规划→sEMG技能原语分层架构，在“把食物放进微波炉”家居场景中由RGB-D相机定位、LLM拆子任务、sEMG提供抓放原语协同完成；e-skin内NO₂与温度作为补充环境上下文（仿真中以条件触发模拟），验证多模态融合与分层规划可行性。

讨论部分指出，该e-skin通过蛇形PI/Au实现贴肤柔顺，MoSe₂一材三用（气敏/光敏/沟道）与Au基生理采集分工明确；GRU以低参数量达成毫秒级时延，优于刚性EMG接口；LLM弥补sEMG仅能表达底层运动意图的不足，但当前环境传感器未全闭环、气体仅测NO₂受控条件、长期汗湿洗涤耐久未评、单受试者sEMG、通用LLM未域微调、功耗与无缆化待解。结论部分翻译如下：研究人员开发了在保形PI/Au架构上集成MoSe₂基NO₂传感、光探测与FET模块及Au基sEMG与温度传感的多功能e-skin平台；MoSe₂ NO₂传感器在0.5–10 ppm呈浓度依赖响应，光探测器在365 nm下开关比>100，Au温度传感器在30–50°C灵敏度2.2 Ω °C^?1；形变演示与100次电循环提供保形性与循环电稳初步证据，但未确立长期汗湿或洗涤耐久；通过集成sEMG、光与NO₂传感及LLM辅助任务规划与语音模块，系统实现跨四足机器人/机械臂/人形平台灵活直观控制，分层架构降低认知负荷且支持高分辨任务执行；当前验证主要基于高保真仿真与受控物理测试，但架构与逻辑面向现实适用，未来将拓展不平地面sEMG运动、室内助航语音-手势控制及LLM多步操控，并增强极端条件耐久、域微调LLM与融合LiDAR/IMU多传感器，推动康复、可穿戴机器人及智能制造应用。