Fold-Llama：通过几何到文本编码和轻量级大语言模型（LLM）微调实现的数据高效机器人织物折叠技术

《Knowledge-Based Systems》：Fold-Llama: Data-Efficient Robotic Fabric Folding via Geometry-to-Text Encoding and Lightweight LLMs Fine-Tuning

机器人布料折叠的几何推理与轻量级语言模型方法，通过结构化文本编码和LoRA微调提升数据效率与泛化能力，支持仿真到实地的本地部署迁移。

　　

Ruhan He|Xuan Huang|Lianqing Yu|Xianyi Zeng|Yangjun Ou

武汉纺织大学计算机科学与人工智能学院，中国湖北省武汉市430200

摘要

顺序多步骤布料折叠是机器人操控中的一个挑战性问题，它要求机器人能够感知布料的状态并规划一系列动作以达到预期的目标。现有的方法存在数据效率低、跨任务泛化能力弱以及部署成本高的问题，这些都不适合工业应用。因此，我们提出了Fold-Llama，这是一种新的机器人布料折叠方法，它利用了几何到文本的编码技术和轻量级的大语言模型（LLMs）。Fold-Llama将人类的折叠策略明确编码为结构化的几何操作，包括10种常见的几何操作策略，然后DeepSeek-R1根据这些几何操作策略生成总共2640对结构化数据对，用于Llama-3.2-3B-Instruct模型的低秩适应（LoRA）微调。经过微调的模型结合了LLM的通用推理能力和10种学到的折叠策略，使其能够适应不同的布料配置。这种仅基于文本的合成和本地部署流程从根本上将布料操控学习从基于视觉的模仿转变为基于语言的几何推理。我们在四个代表性的顺序折叠任务上对Fold-Llama进行了实验评估，结果显示其在仿真中的表现显著优于基于LLM的方法，仅使用2640个文本样本（大约是传统方法48K+机器人交互样本的6%）就实现了90.5%的错误率降低。此外，我们的方法可以直接通过调用vLLM平台上部署的模型的API从仿真环境转移到现实世界中，而无需额外训练。尽管是在矩形布料上进行训练的，我们也证明了该方法可以应用于T恤和短裤。视频链接如下：https://sites.google.com/view/fold-llama/home

引言

布料操控在家庭、医疗和工业环境中有着广泛的应用，例如洗衣折叠[1]、手术[2]和制造[3]。大多数这些任务都可以视为顺序多步骤布料操控，需要规划一系列连续的动作来达到所需的布料状态。顺序多布料操控面临一些挑战：与刚性物体不同，布料具有无限的自由度，这使得状态表示变得困难；布料的动态也很复杂，单次反向操作很难显著改变布料配置；布料可能会起皱，导致难以恢复[4]。因此，实现自动化布料折叠的关键在于精确规划和有效执行能够适应不同布料配置的操控策略。

对于多步骤布料操控，早期的方法设计了针对特定任务的定制夹具和布料标记的手动编码策略，这使得这些策略难以推广到其他环境[1]、[2]。最近，基于学习的方法通过使用神经网络解决状态表示和规划问题，在布料操控方面展示了巨大的潜力。其中一些方法从专家演示中学习特定的顺序多步骤布料操控策略[5]、[6]。尽管这些方法被证明是有效的，但需要为不同的任务训练不同的模型[7]。另一种方法使用标准的Deep Q网络学习目标条件下的拾放策略[7]。然而，对于顺序多步骤布料操控任务，目标状态的布料可能会严重遮挡，单张目标图像可能无法包含足够的信息。Foldsformer[8]通过使用时空注意力机制有效解除了对目标观察的依赖，但其底层的Transformer仍然需要在数千个真实的交互数据集上进行训练，数据收集成本限制了其实际应用。这些传统学习方法面临一个根本性的挑战：从有限的演示中提取可泛化的操控策略同时适应不同的布料配置仍然很困难，因为它们需要大量的图像数据收集（>48K样本），并且难以在不同布料尺寸和姿态上进行泛化。随着大型语言模型（LLMs）的兴起，最近的研究表明LLMs在机器人任务规划和推理方面非常有效[9]、[10]。GPT-Fabric[9]通过自然语言提示实现了零样本布料操控，有效解决了传统方法的数据收集瓶颈。然而，它面临两个关键限制：原始LLM预训练数据中缺乏物理动作空间的表示，这在符号指令和机器人控制之间造成了语义差距，导致最终评估中出现显著错误；并且它依赖于高成本的、低实时性的API调用，不适合工业部署。

在利用LLMs的零样本能力的同时解决其语义差距和部署挑战的基础上，我们提出了Fold-Llama（图1），这是一种结合了几何引导推理和轻量级语言模型微调的布料折叠方法。与依赖大规模视觉演示或模糊自然语言指令的先前方法不同，Fold-Llama通过结构化的文本表示来系统地进行空间推理。在顺序折叠任务上的实验表明，与传统学习方法和LLM基线相比有显著改进，即使使用最少的训练数据也能获得强大的性能。该方法支持训练策略的零样本执行和对未见任务的少样本泛化，使得在工业环境中实现成本效益高的本地部署成为可能。

这项工作的核心创新在于从基于视觉的模仿学习向基于语言的几何推理的范式转变。传统方法依赖于直接从大规模视觉演示中学习操控策略，但在数据效率和跨任务泛化方面存在困难。相比之下，Fold-Lamma将布料折叠视为一个可以通过对空间原语的显式符号计算来解决的几何推理问题。通过将空间关系编码为结构化文本并利用LLMs的推理能力，我们从根本上重新思考了如何将语言模型集成到机器人操控中：我们不是将LLMs用作生成模糊自然语言指令的高级任务规划器，而是将它们用作执行确定性空间计算的几何推理器。这种设计消除了语言和动作之间的语义差距，同时通过组合推理实现了系统化的泛化。

为了实现这一范式转变，本研究的主要贡献如下：

•

几何到文本策略编码。我们通过一种编码方案架起了语义桥梁，将人类的折叠策略转换为对空间原语的结构化操作，消除了自然语言指令中的模糊性，实现了确定性的几何推理。

•

基于几何规则的合成数据生成。我们通过直接从确定性几何编码生成合成文本监督数据，与依赖真实机器人交互轨迹的传统基于视觉的方法相比，数据需求降低了一个数量级以上。

•

参数高效的微调和本地部署。我们在Llama Factory平台上应用LoRA对轻量级模型（Llama-3.2-3B-Instruct）进行微调，实现了快速且成本效益高的模型适应。微调后的模型在vLLM平台上进行本地部署，用于实时推理，避免了基于云的LLM API的高延迟和重复成本，同时保持了强大的几何推理能力。

本文的其余部分组织如下：第2节回顾了布料折叠和机器人学中LLMs的相关工作；第3节正式阐述了问题公式；第4节详细介绍了Fold-Llama方法，包括几何到文本编码、合成数据生成和推理部署；第5节展示了在仿真和现实世界环境中的实验结果；第6节讨论了限制和未来方向；第7节总结了本文。

部分摘录

布料折叠

当前用于顺序多步骤布料操控的方法在泛化、效率和操控精度方面仍然面临重大瓶颈。分析方法通过手动任务分解实现了结构化操作，但依赖于高度定制的硬件系统（例如，专门的机器人夹具[11]或预定义的布料几何模型[1]），这使得它们难以适应不同的布料材料、尺寸或环境干扰。

问题表述

我们研究的问题是在准静态条件下，使用单个机器人臂将一块可变形布料从任意初始配置转换为目标配置，在一个平工作空间中。在时间步长t内，机器人接收一个RGB-D观测值$o_t\in R^{H\times W\times 4}。对于基于仿真的分析，我们还跟踪了潜在的布料状态$${\xi }_t\in R^{N\times 3}（3D粒子坐标），但在测试时策略仅使用图像。从$o_t开始，我们计算

Fold-Llama概述

我们从一个具体的人类策略开始。假设目标是将一块方形布料折叠成一个三角形，唯一的输入是四个角坐标和几何中心。一个自然的计划是选择一个角并将其放置在最远的角上，这样就形成了一个对角线折叠。在操作上，可以随机选择一个角作为拾取点，然后计算到其他三个角的欧几里得距离的平方$d_i^2$, 对它们进行排序，并通过$j^{★}=\arg {\max }^{}$

仿真设置

我们在SoftGym套件[33]中评估了Fold-Llama和基线方法，SoftGym是一个基于Nvidia Flex构建的粒子模拟器。仿真环境包括一个俯视相机，提供224×224大小的深度和RGB图像，布料放置在相机视场的中心。

我们在4个顺序多步骤布料折叠任务上评估了Fold-Llama，这些任务分别需要2、3、4和4个动作来完成：(i) 双三角形；(ii) 双直线；(iii) 所有角向内；(iv) 角

限制和未来方向

尽管Fold-Llama在数据效率和部署实用性方面展示了显著优势，但目前的方法仍存在几个重要限制。首先，该方法高度依赖于准确的几何原语提取。尽管自适应的层次增强系统显著提高了鲁棒性，但在极端条件下（如严重阴影、皱纹和高度非平面的布料），角检测器可能会误识别特征或失败

结论

我们提出了Fold-Llama，这是一种数据效率高的顺序多步骤布料折叠方法，它将人类策略编码为几何到文本的规则，并对轻量级LLM进行微调。通过将固定顺序的指令面板与LoRA微调Llama-3.2-3B-Instruct在2640个仅基于文本的合成样本上进行结合，系统学习了一种指令条件下的策略，该策略可以通过vLLM在本地运行并输出可确定性解析的拾放命令。在SoftGym的四个任务中，Fold-Lama

CRediT作者贡献声明

Ruhan He：撰写——审阅与编辑，撰写——原始草稿，方法论，数据策划。Xuan Huang：撰写——审阅与编辑，撰写——原始草稿，方法论，数据策划。Lianqing Yu：撰写——审阅与编辑，撰写——原始草稿，数据策划。Xianyi Zeng：撰写——审阅与编辑，撰写——原始草稿，数据策划。Yangjun Ou：撰写——审阅与编辑，撰写——原始草稿，数据策划。

利益冲突声明

我们声明我们与其他个人或组织没有财务和个人关系，这些关系可能会不恰当地影响我们的工作，我们在任何产品、服务或公司中没有专业或其他性质的个人利益，这些产品、服务或公司可能会影响本文所呈现的观点或手稿的评审。