《Biomimetics》：Bio-Inspired Low-Light Image Enhancement with Large Kernel Convolution and Attention
编辑推荐：
长时程机器人操作要求在不确定性下协调多个运动原语，尤其是在接触丰富且变化的环境中。现有的端到端视觉运动策略往往缺乏显式的时间结构，导致执行脆弱且在扰动后恢复能力有限。受生物运动控制的启发（其中可重复使用的原语通过相位分解和反馈依赖的转换进行组织），研究人员提出
长时程机器人操作要求在不确定性下协调多个运动原语，尤其是在接触丰富且变化的环境中。现有的端到端视觉运动策略往往缺乏显式的时间结构，导致执行脆弱且在扰动后恢复能力有限。受生物运动控制的启发（其中可重复使用的原语通过相位分解和反馈依赖的转换进行组织），研究人员提出一种仿生相位感知框架，该框架将执行表示为感知接地运动相位上的结构化转换。该框架整合了三个模块：多模态相位与原语检测器（Multimodal Phase-and-Primitive Detector, PPD），从视觉、本体感觉和力-力矩信号中提取语义和物理一致的相位；多模态感知技能图（Multimodal Perception Skill Graph, MPSG），编码可行的相位转换并支持跳过、回滚和恢复；以及可提示相位控制（Promptable Phase Control, PPC），将语言指令转换为图级排序约束，无需重新训练低层策略即可实现任务重排序。在四个多阶段任务上的实验表明，鲁棒性得到提升，相对于整体式动作分块变换器（Action Chunking with Transformers, ACT）基线，平均扰动条件成功率从25.0%提高到73.8%。
本研究发表于《Biomimetics》，针对长时程机器人操作在接触丰富、动态变化环境中鲁棒性不足的问题。生物运动控制系统通过层次化组织、可重用运动原语、感觉反馈依赖的相位转换和局部纠正来实现适应性，而现有端到端视觉运动策略缺乏显式时间结构，导致错误累积和恢复能力有限。尽管层次模仿学习和技能分解方法已推进了组合泛化，但其通常依赖离线预定义的技能边界或固定执行结构，无法在运行时根据物理反馈进行重配置。因此，研究人员提出一种功能仿生的相位感知框架，将操作表示为感知接地运动相位上的结构化转换，整合多模态相位与原语检测器（Multimodal Phase-and-Primitive Detector, PPD）、多模态感知技能图（Multimodal Perception Skill Graph, MPSG）和可提示相位控制（Promptable Phase Control, PPC）三个模块，以提高长时程任务的鲁棒性和可控性。
研究人员在四个真实世界多阶段任务上进行了实验，包括顺序抓放、接触丰富插拔、多物体重排和模糊状态操作。结果表明，该框架将平均扰动条件成功率从整体式动作分块变换器（Action Chunking with Transformers, ACT）基线的25.0%提高到73.8%，验证了显式相位组织对长时程操作的价值。
关键技术方法：研究人员使用Franka Emika Panda机械臂、Gello同构遥操作设备和多视角RGB-D相机搭建平台。模型推理、技能感知和图遍历在NVIDIA Jetson AGX Orin上运行，实时控制则在配备实时Linux的Intel NUC上执行。PPD采用预训练CLIP编码器提取视觉特征，并用多层感知机编码由抓手状态和外部关节力矩组成的物理描述符，融合后经多元变化点检测和MS-TCN（Multi-Stage Temporal Convolutional Network）生成语义一致的相位段。MPSG以增量方式构建，节点封装局部技能策略和感知锚点，边记录演示和验证过的恢复轨迹中的可行转换。PPC调用Kimi K2.6语言模型将指令解析为图级顺序约束。各任务20个演示片段划分出训练/验证集，另有独立收集并手动标注的80个片段作为测试基准。
结果部分：
4.2 Semantic Phase Segmentation Ablation（语义相位分割消融）：在四个任务上比较视觉、视觉+本体感觉、视觉+本体感觉+力矩三种输入配置。离线评估表明，视觉+本体感觉+力矩在所有分割指标上表现最佳，说明本体感觉和外部关节力矩提供了互补的时间线索，尤其有助于在视觉遮挡或接触模糊情况下定位相位边界。
4.3 Phase-Aware Execution and Failure Recovery（相位感知执行与失败恢复）：在无干扰（D1）和干扰（D2）条件下比较ACT、平坦原语序列、SayCan启发规划器和所提MPSG-Control。MPSG-Control获得最高任务成功率和最低过早转换率。结构消融显示，移除回滚会显著降低成功率，移除感知门控会增加过早转换，二者提供互补功能：感知门控阻止不可行的前向推进，回滚支持局部化恢复。
4.4 Structural Controllability via Hard Topological Constraints（通过硬拓扑约束的结构可控性）：在Open->Close->Open重排序实验中，比较LC-ACT、Flat Planner和PPC。PPC实现100%顺序合规和75%任务成功率，优于LC-ACT的30%顺序合规和45%成功率，以及Flat Planner的100%合规但55%成功率，说明将语言指令编译为硬图级约束比软条件化更有效。
讨论部分指出，显式相位抽象使局部运动保持稳定，而全局执行结构可通过感知接地转换进行适应；物理交互线索对接触丰富任务的分割至关重要；MPSG通过感知门控和回滚支持局部化纠正；PPC提供了无需重训练低层技能即可重排任务顺序的高层控制接口。局限性包括图拓扑依赖演示中观察到的恢复轨迹、原语词汇预定义、语言实验限于任务重排序、图遍历使用相对简单的感知匹配。
结论部分翻译如下：本文提出了MPSG-Control，一种功能仿生的相位感知框架，用于多阶段机器人操作中的结构化执行。该框架将演示任务表征为感知接地运动相位之间的转换，而不是单一的整体视觉运动轨迹。PPD利用视觉、本体感觉和力-力矩观测识别相位段；MPSG将产生的段组织为节点级技能策略，并支持名义、跳过、回滚和恢复转换；PPC将语言指令转换为已有图节点上的排序约束。在四个评估任务、测试平台和预定义扰动协议内，实验结果支持显式相位组织的有用性，但不应解释为对任意长时程操作问题的普遍鲁棒性。语言实验展示了基于现有原语库的任务重排序，而非开放式语言理解或新技能获取。未来工作将在更大任务族、更多样化的物体和环境以及更广泛的提示变化上评估该框架，并探索自动原语发现、不确定性感知图遍历、可扩展图维护和更通用的图操作。
