面向物理人机交互的力感知控制：一种基于Transformer的动作分块方法

《Machines》：Force Sensing Control for Physical Human–Robot Interaction: A Transformer-Based Action Chunking Approach Zhenyu Pan and Weiming Wang

　　

在直接物理接触的人机协作（HRC）场景中，准确估计人类意图并基于多模态信息调整机器人行为是限制当前HRC任务效率和精度的核心因素。为了提升物理接触条件下人机协作的性能，研究人员提出了一种名为ACT_force_cooperative（AFC）的联合网络模型。该模型利用力感知信息作为人类意图的表征，在物理交互过程中实现人类意图预测，同时捕获视觉信息和机器人状态数据，从而通过多模态信息处理更高效地执行人机协作任务。现有的HRC方法常常忽略人类在环境中的协作经验，未能认识到交互力在表达人类意图方面的独特性。该模型关注物理交互环境中各类数据中交互力的特殊作用，预测人类未来的行为意图，并采用Transformer模型实现多模态信息的融合与表征，从而完成更精确和有效的HRC任务。实验结果表明，通过力感知信息的处理和多模态数据的融合，与基线动作分块Transformer（ACT）模型相比，所提模型将运动误差降低了44.9%，并将有效协作时间比例提高了20.2%。这不仅提升了机器人在协作任务中的运动精度，还增强了人类操作员的协作体验。

人机协作（HRC：Human-Robot Collaboration）在智能制造、医疗和服务领域至关重要。物理人机交互（pHRI：涉及直接接触和力传递的交互）作为其关键形式，在精密装配、协作运输等接触密集任务中要求毫米级操作精度和细致的接触力协调。然而，现有方法面临两大核心挑战：一是传统高精度系统依赖昂贵硬件导致高成本和复杂部署；二是多数控制方法仅基于视觉或位置等单模态数据，忽视了交互力作为人类意图直接载体的独特作用。交互力包含运动方向和力调节等丰富意图信息，是物理耦合中人机沟通的关键渠道。现有意图估计方法多基于短期运动数据（如位置和速度）进行预测，难以应对人类意图的突然变化，并在长期协作中易于误差积累。尽管部分研究尝试将力传感融入意图估计，但多数依赖复杂动态建模或计算昂贵的扩散策略，难以平衡实时性和控制精度。因此，迫切需要开发一种有效利用交互力传感、融合多模态信息、并兼容低成本硬件的人机交互控制方法。

针对上述问题，研究人员提出ACT_force_cooperative（AFC：一种基于交互力编码的联合网络模型）模型，将交互力信号作为人类意图的直接表征，集成视觉信息和机器人状态数据，采用Transformer架构实现动作分块（Action Chunking）预测，建立了力-意图-动作的端到端映射。在基于两个Rizon4s协作机器人平台的人机协作排序与运输实验中，与基线动作分块Transformer（ACT：Action Chunk Transformer）模型相比，AFC模型将运动平均瞬时误差降低了44.9%，有效协作时间比例提高了20.2%，误差标准差降低50.0%。这验证了力传感在机器人模仿学习中的有效性，显著提高了机器人在协作任务中的运动精度和人类操作员的协作体验。该论文发表在《Machines》上。

研究人员采用以下关键方法：（1）力传感与编码：使用六轴力/力矩传感器（1000 Hz）采集交互力，经10 Hz巴特沃斯低通滤波和归一化后，通过轻量Transformer编码器（MiniForceTransformer）提取256维意图特征；（2）视觉与状态提取：双目相机（Intel RealSense SR300，15Hz）图像由DinoV2模型提取特征，机器人末端执行器状态（9维）进行线性编码；（3）多模态融合与动作分块：所有特征投影至512维空间（视觉从768维通过1×1卷积映射，力和状态分别通过线性投影），加入分离位置编码（一维可学习位置编码用于力/状态token，二维位置编码用于视觉token），拼接为515 token序列，输入4层Transformer编码器进行跨模态自注意力融合；解码器预测50步动作序列，执行前10步后基于新观测循环预测；（4）联合训练：总损失包含动作损失和力预测损失，力预测损失采用时间动态加权（短程20帧权重1.4，长程30帧权重0.9），总权重α=0.3。数据采集通过遥操作方式，4名参与者（两男一女）执行协作运输任务，收集100个高质量案例，按8:2划分训练与测试集。训练在NVIDIA RTX 4090平台进行，使用PyTorch框架，ACT模型训练7.2小时，AFC模型12.8小时。

研究结果包括以下三部分：

（1）训练曲线比较：通过总损失和动作损失随训练步数的变化曲线对比，AFC模型初始总损失较高（约83.0），但快速收敛；最终（50000步）总损失最低，且最终平均轨迹预测误差为0.0103，显著低于ACT（0.0187）和ACT_force（在ACT基础上增加独立力通道的对比模型）（0.0181）模型，验证了力传感信息和协同融合机制的有效性。

（2）轨迹预测准确性比较：通过对未来50步末端执行器位置预测误差的分析，AFC模型的平均瞬时误差（0.0103）较ACT降低44.9%，较ACT_force降低43.1%；误差标准差（0.0003）降低50.0%，波动范围（0.0011）为其他模型一半。累积误差线性增长斜率最低（0.0103），表明其最优的长时误差抑制能力，证明协同融合机制同时提升了短期精度和长期稳定性。

（3）有效协作时间比比较：定义运动方向与交互力方向夹角小于90°的时间占比为有效协作时间比，用以衡量协作顺从性。AFC模型平均值为75.43%（标准差±4.87%），较ACT（62.76%，±13.30%）提高20.2%，标准偏差降低63.4%，变异系数从21.2%降至6.5%。每实验分析中AFC波动范围最窄（65%–87%），最低值均高于65%，表明其性能稳定且对不同参与者泛化良好。

在讨论中，研究人员将AFC与现有方法进行了深入比较。与依赖复杂动态建模或仅聚焦轨迹优化的力感知模仿学习方法（如ForceMimic：基于力-运动捕获的模仿学习；FTACT：融合力-扭矩的ACT模型）相比，AFC避免了复杂动态建模，将交互力直接作为人类意图的核心表示嵌入动作分块Transformer架构，实现了端到端力-意图-动作映射，同时保持对低成本硬件的兼容性。与多模态Transformer模型（如IDAGC：基于条件变分自编码器的意图估计框架；DTRT：双Transformer轨迹预测框架）相比，AFC通过专用力信号编码器精确提取意图和接触状态特征，结合分离位置编码策略和4层Transformer编码器，实现交互力、视觉和状态信息的深度协同融合，并通过时间动态加权联合训练增强短期力预测精度，从而提升物理交互中的协作稳定性。与简单添加力通道的独立分支结构（如ACT_force）相比，AFC的协同融合机制将所有模态特征投影至统一512维特征空间，依赖多头自注意力实现跨模态语义关联学习，结合力预测与动作预测的联合训练，从原理上避免了单模态信息不足导致的误差累积，显著提升了模型在pHRI任务中的感知鲁棒性和动作执行精度。

翻译研究结论：HRC在智能制造和自主机器人领域起着至关重要的作用。然而，传统的视觉-状态融合方法在面对复杂交互任务时，往往难以准确感知环境状态和预测长序列动作，限制了模型在实际应用中的可靠性和准确性。为了提升机器人在复杂交互任务中的模仿学习性能，必须充分利用多模态感知信息，特别是力传感信息，以实现更精确的动作预测和更稳定的长期执行。本研究提出了协同多模态融合机制（AFC），通过在Transformer编码器层深度融合力特征、视觉特征和状态特征，实现了多模态信息的协同优化。实验结果表明，协同融合机制能够显著提升模型性能：平均瞬时误差降低44.9%，误差标准差减小50.0%，累积误差增长率降低44.9%，有效协作时间比例提高20.2%。这些结果验证了力传感在机器人模仿学习中的有效性以及协同融合机制的优越性。然而，本研究也存在若干局限性：（1）方法依赖高质量力数据采集，多模态数据同步和标注成本高，力传感器校准和维护需专业知识；（2）模型推理计算复杂性较高，多模态融合和力预测分支增加了计算开销，可能影响实时应用响应速度；（3）对不同机器人平台和任务场景的泛化能力有限，需针对特定平台和任务进行数据采集和模型微调；（4）力数据质量和噪声显著影响模型性能，实际部署需鲁棒的传感器融合和噪声抑制机制；（5）未设计专门的主观体验量表定量验证有效协作时间比与人类操作主观体验之间的关联，缺乏量化主观体验数据，难以对模型在人机协作体验层面的实际表现进行全面系统评估。未来研究可从以下方面展开：首先，构建融合真实数据与仿真数据的“混合数据增强框架”，通过物理仿真引擎生成合成力数据，结合迁移学习和域自适应技术补偿真实数据获取成本，提高对不同传感器配置的适应性；其次，探索基于“少样本/零样本学习”的通用多模态模仿学习模型，通过预训练学习不同平台和任务的共同特征，仅需少量任务描述即可快速适应新任务；最后，研究自适应力损失权重调整策略，根据任务难度和训练阶段动态调整多模态损失权重比，实现最优性能平衡。