SPRINT:流式预处理缩减与推理精简,面向低延迟实时多模态具身智能系统
《Future Generation Computer Systems》:SPRINT: Streaming Pre-processing Reduction and INference Trimming for low-latency real-time multi-modal embodied AI system
【字体:
大
中
小
】
时间:2026年09月21日
来源:Future Generation Computer Systems 6.2
编辑推荐:
**摘要**
具身人工智能要求智能体在严格的延迟约束下处理连续的、多模态的数据流,以确保在动态环境中实现实时响应式控制。然而,标准执行流水线由于对无信息量帧的冗余处理以及前端信号预处理(DSP/ISP)的显著开销,导致端到端延迟居高不下,而现有的自适应推理方法未能对此进行整
**摘要**具身人工智能要求智能体在严格的延迟约束下处理连续的、多模态的数据流,以确保在动态环境中实现实时响应式控制。然而,标准执行流水线由于对无信息量帧的冗余处理以及前端信号预处理(DSP/ISP)的显著开销,导致端到端延迟居高不下,而现有的自适应推理方法未能对此进行整体性解决。为弥补这一差距,我们提出了*SPRINT*——一种系统级的流式架构,旨在不改变标准后期融合(late-fusion)接口的情况下,最小化实时具身工作负载中的延迟。与现有方法不同,*SPRINT*引入了一个原始数据控制器,它在昂贵的 DSP/ISP 阶段之前运行。在一个轻量级策略(逐帧调度器)的指导下,该策略利用实时流历史,系统动态地对帧进行分类:对无关输入跳过处理、对关键数据执行完整推理,或让有效但非关键的帧通过缩短的路径处理。为实现后者,我们设计了短路模块(short circuit modules),用于从早期层近似高层表示,从而绕过繁重的骨干网络计算。在真实世界多模态数据集上的实验结果表明,*SPRINT*在保持与完整执行基线相当的准确率的同时,将整体延迟降低了最多 61.3%。**引言**具身人工智能使智能体能够在真实环境中通过紧密耦合的感知—决策—行动循环来执行复杂任务,例如导航、操作和协作[1]。与传统的离线、数据集驱动的范式[2]、[3]、[4]形成鲜明对比的是,具身工作负载本质上是连续的、流式的和多模态的。智能体必须在严格的控制截止时间下,将来自 RGB-D 相机、惯性测量单元(IMU)、音频和自然语言指令的并发信号综合为可执行的动作。这种流式特性对系统设计提出了严格的实时约束:智能体无法停下来等待去处理一帧复杂的输入。因此,保持低端到端延迟至关重要;任何处理延迟都会导致智能体与当前环境状态失去同步,使得策略输出在执行之前就已经过时。近年来,具身智能体训练的进展[1]、[5]声称可以通过利用流数据的固有特性来促进实时部署。由于具身数据流存在显著的时间冗余——许多帧仅包含轻微的视角变化或无信息量的背景——对每一帧采用统一的高保真执行路径会带来不必要的延迟和能耗。为缓解这一问题,这些方法利用输入自适应的条件计算和稀疏路由来倡导选择性激活[6]、[7]、[8]、[9],而提前退出(early exiting)框架则表明,在较浅的网络深度上往往也能取得可接受的结果[10]、[11]、[12]、[13]、[14]。然而,这些解决方案在很大程度上仍被认为主要是在仿真或抽象环境中验证的,与真实世界实时部署的要求相比仍有显著差距。造成这一差距的原因是,先前的工作主要优化神经网络推理,而忽视了前端流水线带来的关键端到端延迟——具体而言,就是从原始传感器数据获取到 DSP/ISP 信号预处理的一系列阶段。虽然 SMG[15] 通过将其设计纳入信号预处理迈出了初步的一步,但它仍不适合真正的实时部署。它以整个视频片段的粗粒度进行操作,要求在生成优化策略之前必须可获得完整序列,而不是以流式方式即时做出帧级决策(见图 1)。这些局限性凸显了对一种低延迟、实时多模态具身 AI 系统的需求,该系统需要从根本上重新思考执行流水线。一方面,这样的系统必须将优化范围从神经网络扩展到包含沉重的前端开销,将决策点前移到原始数据阶段,以绕过昂贵的 DSP/ISP 处理,并判定流式输入中的冗余帧。另一方面,它必须严格遵守实时流式数据的因果性,仅基于历史上下文即时做出逐帧决策,而不是等待未来帧或完整视频序列。本文提出了*SPRINT*(*S*treaming *P*re-processing *R*eduction and *IN*ference *T*rimming,即流式预处理缩减与推理裁剪框架),这是一种专门设计用于最小化具身工作负载端到端延迟的系统。关键在于,*SPRINT*将决策边界从后处理特征空间转移到了原始数据域。不同于先前的软件级方法——这些方法在做出选择决策之前会产生固定的 DSP/ISP 开销——也不同于依赖于粗粒度模态开关的系统级方法,*SPRINT*使得能够直接在原始传感器流上进行细粒度的逐帧控制。为实现严格实时执行而不依赖未来上下文,*SPRINT*引入了一个系统级数据控制器,在 DSP/ISP 流水线之前缓冲原始帧。一个轻量级的逐帧调度器随后基于实时流历史评估每一帧的潜在收益,并将其即时归类为以下三种执行路径之一:(1)丢弃(Drop):立即丢弃无信息量的帧,以消除预处理和传输开销;(2)完整(Full):将关键帧路由至标准的高保真骨干网络;以及(3)简短(Short):将半重要帧调度至缩短的路径。对于后者,我们设计了短路模块,将早期层特征映射为近似的最终表示,在绕过高延迟骨干网络模块的同时,无缝保持后期融合接口不变。通过在昂贵阶段之前做出决策,*SPRINT*确保了具有有界延迟的实时响应性。在本工作中,我们做出了以下贡献:- 我们提出了*SPRINT*,一种系统级多模态流式架构,通过协同设计原始数据控制、预处理跳过和骨干网络深度选择,在后期融合接口下降低具身 AI 系统的执行延迟。- 我们设计了一个系统级流式数据控制器,它在 DSP/ISP 之前缓冲帧,并实现早期丢弃/加载控制,以避免浪费性的预处理和骨干网络执行。- 我们设计了一个轻量级逐帧调度器,它利用实时流的预测结果和单模态原始数据的结果来计算帧数据的收益,并做出执行路径决策。- 我们设计了短路模块,将早期层特征映射为近似的单模态最终特征,从而在保持融合网络和头部网络不变的前提下实现快速执行。- 我们在真实多模态流式工作负载上评估了*SPRINT*,表明它可将整体延迟削减最多 61.3%,同时保持准确率接近完整的后期融合基线。本文其余部分组织如下。第 2 节介绍相关工作。第 3 节介绍*SPRINT*的设计,第 4 节说明训练流程。第 5 节展示评估方法和结果。最后,第 6 节总结全文。**章节片段****2.1 具身 AI 平台**具身 AI 研究严重依赖于可复现且可扩展的交互式环境,这些环境统一了任务规范、传感器建模和评估协议。Habitat[5]提供了一个平台技术栈,由高性能的 Habitat-Sim 仿真器和 Habitat-API 组成,支持可配置的智能体化身和传感器;其高吞吐渲染能力大幅降低了大规模交互式数据收集、训练和基准测试的成本,使其成为广泛使用的……**3.1 后期融合多模态神经网络架构**我们首先简要介绍标准的后期融合多模态神经网络架构。在此设计中,多个单模态编码器用于学习模态特定的表示,随后一个融合模块整合这些特征以生成最终预测。第一阶段为每个输入模态计算特征表示。具体来说,我们采用专用的深度编码器,从每个模态的原始输入中提取有信息量的特征。例如,一个……**4 Sprint 训练方法***SPRINT*的训练过程分为两个阶段。在第一阶段,我们训练多模态骨干组件,包括单模态网络、融合网络和所有短路模块。在第二阶段,我们训练逐帧调度器,它学习为流式输入选择适当的决策。**5.1 实验设置****多模态流式工作负载:** *SPRINT*在两个广泛使用的视频识别数据集 Kinetics-Sounds[33] 和 UCF101[34] 上进行训练和评估,它们来自广泛使用的基准[35]、[36]。这两个数据集为大规模视频理解提供了多样化且具代表性的工作负载。Kinetics-Sounds 是 Kinetics[37] 的一个子集,包含 31 个动作类别的 28,268 个训练视频和 1,512 个测试视频。UCF101 是一个从 YouTube 收集的、贴近现实的动作识别数据集,由于数据……**6 结论**在本工作中,我们提出了*SPRINT*,一种系统级流式架构,旨在应对实时具身 AI 工作负载中的两大挑战:输入数据冗余和高预处理开销。与仅优化深度学习骨干网络内部执行延迟的先前方法不同,*SPRINT*将决策范式转移到了原始数据阶段。通过在昂贵的 DSP/ISP 流水线之前引入轻量级的、感知原始数据的逐帧调度器,我们的系统有效地……**CRediT 作者贡献声明****Yifei Pu(浦一飞):** 撰写——初稿、可视化、验证、软件、方法论、调查研究、形式化分析、数据整理、概念构思。**Xinfeng Xia(夏新锋):** 撰写——初稿、可视化、软件、方法论、调查研究、形式化分析、数据整理、概念构思。**Xiaofeng Hou(侯晓峰):** 撰写——审阅与编辑、监督、项目管理、方法论、形式化分析、概念构思。**Cheng Xu(许诚):** 撰写——初稿、验证、方法论……**利益冲突声明**作者声明他们没有已知的竞争性财务利益或个人关系,这些利益或关系可能被认为会影响本文所报告的工作。作者:Yifei Pu | Xinfeng Xia | Xiaofeng Hou | Cheng Xu | Jiacheng Liu | Chao Li | Minyi Guo单位:上海交通大学,计算机科学与工程系,中国上海
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号