《Sensors》：Selective Residual Action Chunking for Vision-Guided Multi-Task Robotic Manipulation
编辑推荐：
视觉引导的机器人操作要求控制动作能够反映视觉观测、机器人状态与任务目标。动作分块Transformer（Action Chunking with Transformers, ACT）在单个任务上表现良好，但共享的多任务策略必须适应不同的动作分布以及状态相关的控
视觉引导的机器人操作要求控制动作能够反映视觉观测、机器人状态与任务目标。动作分块Transformer（Action Chunking with Transformers, ACT）在单个任务上表现良好，但共享的多任务策略必须适应不同的动作分布以及状态相关的控制需求。研究人员提出一种基于ACT的选择性残差动作分块策略，利用全局RGB（red-green-blue，红绿蓝）图像、腕部RGB图像以及本体感觉反馈。首先在多任务示教数据上训练任务条件化ACT模型；随后冻结其参数，由有界残差专家学习候选动作修正；增益预测器利用观测条件化的解码器特征、机器人状态、任务信息与基础动作统计量，选择施加修正或保留基础预测；增益监督信号来源于模仿误差（imitation error）的降低。机器人执行动作前缀，并从新观测中更新预测，从而将选择性修正纳入闭环操作。在全部十个LIBERO-Goal任务上，该方法取得91.2%的平均成功率，分别超过MTACT（multi-task ACT，多任务动作分块Transformer）与BAKU 11.4和4.2个百分点。在三个联合学习的真实世界（real-world）任务上，取得78.7%的平均成功率，超过MTACT 10.0个百分点。这些结果支持选择性残差动作生成用于视觉引导的多任务机器人控制。
一、研究背景与问题提出
机器人操作广泛应用于制造、物流与家庭辅助，其核心是将观测转化为合适的控制动作。视觉感知提供物体外观、空间关系与操作进度信息，本体感觉（proprioceptive）反馈描述机器人构型，二者与动作生成的关联是抓取与操作的关键。ACT结合Transformer与条件变分自编码器预测连续动作块，在单一细粒度任务上表现优异。但多任务共享策略中相似观测可对应不同目标物体、目的位置或操作流程，共享参数须适应不同动作分布，易产生任务干扰与负迁移。现有方法通过任务条件化（MTACT、BAKU）或条件专家结构（MoE-ACT、SMP）组织观测-动作映射。本研究关注一个互补问题：如何以条件修正改进已有多任务视动策略的动作预测。
二、研究内容与意义
据此，研究人员提出基于ACT的选择性残差动作分块策略：全局与腕部RGB图像、本体感觉状态与任务信息共同条件化共享ACT；基础策略在多任务示教上训练后冻结；有界残差专家学习候选修正；增益预测器估计各专家相对基础预测的收益，仅当最高预测增益超过阈值才施加修正，否则保留基础动作；执行动作前缀后按滚动时域（receding-horizon）重新预测。仿真与真实机器人实验均优于基线，支持选择性残差动作生成用于视觉引导多任务控制。
三、关键方法（约250字）
两阶段训练。第一阶段训练任务条件化ACT（视觉骨干为ImageNet预训练ResNet-18，Transformer前馈维度2048，dropout 0.1；任务表征由冻结的all-MiniLM-L6-v2编码器生成，d
task=384），以动作重构损失与KL（Kullback–Leibler）正则优化并在验证集选检点后冻结。第二阶段训练K=4个有界残差专家（单隐藏层256维多层感知机，GELU激活，输出层零初始化）与增益预测器；预测器输入为执行前缀内层归一化解码器特征均值、基础动作前缀均值与总体标准差、任务表征及本体感觉，目标增益由前缀与完整块组合模仿误差的降低经stop-gradient计算。推理时仅当最大预测增益超过阈值即启用所选专家并全程用于整个动作块，否则保留基础动作，机器人执行八步前缀后重新预测。样本来自LIBERO-Goal十个任务（338条训练轨迹）与NexArm三个任务（各40条训练轨迹）。
四、研究结果
仿真实验（多任务操作性能）：在LIBERO-Goal全部十个任务、每任务50次试验下，所提策略平均成功率91.2%，超MTACT（79.8%）11.4个百分点、超BAKU（87.0%）4.2个百分点，完成456/500次试验；在五个任务上达最佳或并列最佳，其中酒瓶置柜顶、推盘到位、开炉灶三项为100%。动作块推理耗时13.44 ms，略高于MTACT的11.88 ms。
消融研究（总体消融结果）：冻结基础（无残差）平均70.0%，独立单残差控制87.0%（+17.0），完整策略91.2%（再+4.2）；无回退89.4%、固定专家89.0%、随机路由86.6%均更低，表明增益引导选择与基础动作回退缺一不可；优势集中于T10（细长酒瓶由直立抓取转为斜靠放置，需协调位置、朝向与接触）。
增益预测与修正有效性：验证集上增益MAE（mean absolute error，平均绝对误差）为0.03167，低于零增益参考0.03591；符号平衡准确率64.98%与成对排序准确率65.83%均优于随机参考；完整策略平均模仿误差由0.33896降至0.31603（相对降低6.76%）。
分支使用情况：7975次决策中基础动作保留9.9%，四个专家分别占24.3%、48.0%、5.0%、12.7%，专家2近半；基础保留比例因任务而异（开灯27.7%对碗置柜顶1.5%）。
专家选择偏好：选择呈任务相关偏好——碗类接近抓取段偏好专家1，推盘与旋钮操作偏好专家2，搬运段偏好专家3，末段偏好专家4；夹爪命令切换窗口的专家2（51.0%）与专家4（29.6%）选择率高于恒定命令窗口（22.2%、8.8%）。
超参数敏感性：阈值0–0.02与残差尺度0.5–1.5倍范围内成功率90.2%–91.2%，变化小；前缀权重0.75（91.2%）优于0.5（89.6%）与1.0（87.8%），且显著改变专家使用分布。
真实世界实验（多任务操作性能）：Hiwonder NexArm机械臂（五关节加独立夹爪、关节位置反馈、六维状态与动作），全局与腕部RGB相机及任务指令条件化；方块放置、木条堆叠、笔转移三任务各50条示教按80:20划分；联合训练后平均78.7%，超MTACT（68.7%）10.0个百分点，三个任务均更优。
五、讨论
仿真与物理操作中的提升支持残差选择性学习用于多任务视动控制；冻结基础模型使第二阶段学习聚焦于动作调整；消融显示多专家学习与选择性修正联合有效；禁用回退、固定或随机选择专家均降低成功率；预测增益以基础动作模仿误差为共同基准，便于比较候选修正并决定是否保留基础预测；专家选择分析揭示与任务及操作过程相关的分支使用偏好。局限包括：增益估计与残差表达能力仍受限，离线模仿误差不同于闭环结果，有界残差限制修正幅度，部分任务仍低于MTACT基线；超参数尚未系统优化，未来可开展更系统的联合搜索以平衡修正容量与闭环性能。
六、结论
本研究提出面向视觉引导多任务机器人操作的选择性残差动作分块策略，以全局与腕部RGB观测、本体感觉状态与任务信息为条件。训练后任务条件化ACT参数保持冻结，有界残差专家与增益预测器学习改进其预测；增益引导选择决定施加修正或保留基础动作，滚动时域执行将新观测纳入后续动作预测。在LIBERO-Goal全部十个任务上平均成功率91.2%，分别超过MTACT与BAKU 11.4和4.2个百分点；在三个真实世界任务上取得78.7%，超过MTACT 10.0个百分点。这些结果表明，基于视觉观测、本体感觉状态与任务信息对动作预测进行选择性修正，能够提升ACT在多任务机器人操作中的整体性能。
