感知、思考与机器人控制：结合大型语言模型推理的多模态材料识别技术

《Chemical Engineering Journal》：Sense, think, and robot control: Multimodal material recognition sensing integrated with large language model reasoning

　　

作者：Zuowei Wang、Fuzheng Zhang、Qijing Lin、Yueming Gao、Bin Sun、Hongze Ke、Na Liu、Bian Tian、Libo Zhao、Zhuangde Jiang

中国西安交通大学制造系统工程国家重点实验室及微纳制造与测量技术国际联合实验室，西安，710049

摘要

触觉是人类感知材料的基础，涉及多种感受器和复杂的认知处理过程。然而，现有的研究通常局限于单一模态的感知，仅能识别材料类型。在本研究中，我们将多模态感知与大型语言模型（LLM）相结合，以提高材料识别精度并促进更深层次的思考。所提出的紧凑型柔性多模态传感器能够同时获取压力、温度和介电信号，在23种代表性材料上的整体识别精度高达99.13%。基于识别结果和任务需求，LLM生成机器人控制指令。增强现实（AR）技术实现了系统可视化和用户控制，使得人机交互更加直观。该系统展示了在真实场景中通过材料识别驱动的智能机器人分拣能力，可能为多模态传感器在具身智能中的应用提供启发。

引言

通过触觉识别和理解材料对于人类感知和与物理世界的互动至关重要[1]、[2]。触觉感知提供了独立于视觉的线索，并捕捉材料的本质属性[3]、[4]。在接触和抓取过程中，皮肤通过热感受器和梅克尔细胞复合体等结构持续获取多模态感官信号[5]、[6]。这些信号最初在感觉皮层中被整合以支持材料识别，随后由更高层次的认知机制进行处理，用于推理和决策[7]、[8]、[9]，从而形成了一个封闭的“感知-思考-行动”循环[10]。

与人类类似，机器人也需要触觉感知来与外部环境互动并完成复杂任务[11]、[12]、[13]。人类的触觉材料识别技术推动了基于触觉的材料识别传感器的发展[14]、[15]、[16]。以往的研究尝试使用人工传感器模仿人类皮肤的感知功能，以实现接触信息的获取和材料识别[17]、[18]。

然而，与人类的材料识别和认知相比，当前的研究仍面临两个主要挑战。首先，大多数触觉材料识别系统依赖于单一的物理线索，通常仅限于特定类型的物体，而人类则整合多种感官模态来识别广泛的材料[19]、[20]、[21]、[22]。例如，机械线索（如硬度）可以区分软硬物体，但在区分刚性材料（如不同金属）时作用有限[23]、[24]、[25]。相比之下，由接触热传递产生的热线索对于区分金属非常有用，但在识别低导热性材料时灵敏度降低[23]、[26]。

其次，人类的触觉行为自然遵循“感知-思考-行动”的循环。在识别材料后，人类会评估任务需求、选择策略并执行相应动作。相比之下，大多数现有研究仅停留在材料识别阶段，缺乏后续的推理和决策，并且很少与机器人控制集成以实现动作执行[27]、[28]、[29]、[30]。此外，识别结果通常仅以文本形式呈现，这限制了人机之间的直观和双向互动[31]、[32]。

最近，人们投入了大量努力来克服这些限制，推进了集成多模态感知和具身认知的发展。在传感硬件方面，材料和结构的创新使得机械、热和介电传感机制的集成成为可能[33]、[34]、[35]，从而全面提升了对复杂环境和物体的感知能力。为了处理获取的多模态触觉信号并利用其中丰富的信息，神经网络分类器被广泛应用于材料识别传感器[36]、[37]。在获取触觉信息和初步材料识别的基础上，配备分析推理能力的大型语言模型（LLM）正在逐步应用于机器人触觉系统[38]、[39]。然而，能够通过多模态感知实现高性能材料识别并整合LLM高级推理能力的自动化机器人系统仍然很少见。

多模态材料识别和大型语言模型为解决上述问题提供了机会[40]、[41]、[42]。通过同时获取多种互补信号，多模态感知扩大了可识别材料的范围并提高了识别精度[34]、[43]、[44]。同时，大型语言模型能够在材料属性和任务需求方面进行更高层次的推理，支持更智能的机器人控制。

在本研究中，我们将多模态材料识别传感器与大型语言模型集成，提出了一个具有“感知-思考-行动”闭环框架的智能代理系统。该传感器在机器人抓取过程中同时捕获压力、温度和介电信号，并采用混合CNN-Transformer网络进行多模态融合和特征提取，实现了23种材料的99.13%的识别精度。识别结果结合任务需求后，由LLM进行处理，生成高级推理输出，进一步用于控制机器人执行适当动作。此外，增强现实（AR）界面可视化识别结果和控制指令，实现直观的双向交互，允许用户为安全原因覆盖机器人的动作。总体而言，本研究展示了用于触觉材料识别的多模态感知和分层信息处理、深度推理以及机器人控制，展示了其在实际应用中的广泛潜力。

部分摘录

结果

我们设计了一种多模态传感器架构，能够同时感知压力、温度和介电信号。实验验证了传感器的功能，实现了高达99.13%的材料识别精度。我们进一步构建了一个集成多模态感知和大型语言模型的智能代理系统，实现了“感知-思考-行动”循环。在实际任务中，该代理基于材料识别结果进行高级推理以指导行动

多模态传感器的设计标准和系统集成

本研究介绍了一种多模态触觉传感器，能够同时感知压力、温度和介电信息，在23种代表性材料上的整体材料识别精度高达99.13%。除了材料识别之外，我们还使用大型语言模型（LLM）来解释材料属性和任务需求，并生成可执行的机器人动作，实现了真实场景中的材料感知分拣。

识别和理解周围环境

结论

总之，本研究展示了一个高精度的多模态材料感知系统，以及其与大型语言模型（LLM）在具身智能应用中的集成。具体而言，基于对材料机械、热和介电属性的互补感知，所采用的CNN-Transformer分类器实现了23种代表性材料99.13%的识别精度。此外，LLM还解释了材料信息和任务需求

多模态传感器的制造

多模态传感器由两个主要组件组成：双面柔性印刷电路板（FPC）和柔性压敏材料，这两个组件在组装前分别制造。FPC采用标准工艺在聚酰亚胺（PI）基板（Pyralux AP7125E，杜邦）上制造。PI基板的双面均覆有12微米厚的铜箔。通过光刻和蚀刻工艺对铜层进行选择性图案化，形成导电路径和传感元件

CRediT作者贡献声明

Zuowei Wang：撰写——原始草稿、研究、概念化。Fuzheng Zhang：撰写——审稿与编辑、方法论、研究。Qijing Lin：撰写——审稿与编辑、监督、概念化。Yueming Gao：撰写——审稿与编辑、方法论、研究。Bin Sun：撰写——审稿与编辑、软件、研究。Hongze Ke：撰写——审稿与编辑、软件、方法论、研究。Na Liu：撰写——审稿与编辑、可视化、方法论

利益冲突声明

作者声明他们没有已知的可能会影响本文工作的财务利益或个人关系。

致谢

本研究部分得到了中国自然科学基金（资助编号：52405598、52375548）、博士后创新人才支持计划（资助编号：BX20220251）以及烟台先进材料与绿色制造实验室基础研究开放项目（资助编号：AMGM2024F34）的支持。