《AI》：A Survey of Visual Question Answering for Embodied Robots: Tasks, Methods, and Future Directions
编辑推荐：
摘要专业翻译
具身场景下的视觉问答（Visual Question Answering, VQA）融合了计算机视觉、自然语言处理与机器人学。与传统VQA不同，具身问答（Embodied Question Answering, EQA）可能要求智能体在回答自然语
摘要专业翻译
具身场景下的视觉问答（Visual Question Answering, VQA）融合了计算机视觉、自然语言处理与机器人学。与传统VQA不同，具身问答（Embodied Question Answering, EQA）可能要求智能体在回答自然语言查询之前，先从三维环境中获取并保留证据。本半系统性综述从210篇候选文献中筛选出72篇论文构成核心语料，并辅以一项独立的定向定性更新，该更新包含截至2026年7月识别出的28条补充记录。研究人员采用自研的PMRA（感知Perception–记忆Memory–推理Reasoning–行动Action）分析框架——而非新的机器人控制架构——并结合任务表述、方法架构与能力维度三层级分类体系。对20个列表化数据集的审计（计数基于随附提取表重新计算）发现，其中5个允许或要求主动探索，仅1个要求物理对象交互。研究人员还定义了四个基于架构的阶段，且不以发表年份作为归类规则。定性综合识别出显式记忆接口与问题条件化信息获取机制的实例，但未根据发表频率推断其普遍性、时间增长趋势或相对重要性。最后，研究人员讨论了基础模型方法四类反复出现的局限性，以及面向2030年的九项研究方向。
论文主体内容总结
1. 引言
论文指出，传统VQA通常假设相关视觉输入已可用，而EQA则将智能体置于三维环境中，可能要求其通过行动收集回答所需证据。该设定将多模态推理与感知、导航、交互及状态保持相连接。潜在应用包括辅助家庭机器人回答物体位置问题、可穿戴系统响应情景记忆查询以及城市环境中的智能体操作。论文强调，答案必须基于具身系统采集的观测，并在多智能体场景中跨智能体通信。引言还指出，综述文献中模拟评估居多，物理机器人演示较少；在陌生或退化环境中性能可能下降；基于大语言模型（LLM）的评估协议存在可复现性与偏差问题。论文提出PMRA作为组织分析的核心词汇，并明确了其方法论定位：PMRA是作者开发的分析框架而非新的机器人控制或认知架构。
2. 材料与方法
2.1 文献检索与筛选
论文检索了IEEE Xplore、ACM数字图书馆、arXiv和Google Scholar，时间跨度为2015年1月至2026年3月。主要查询组包括“具身问答”或“具身QA”或“视觉问答机器人”；次要查询组涵盖“自我中心视频QA”、“三维场景QA”、“视频问答”和“视觉-语言-行动”。纳入标准包括：同行评审论文或具有完整方法与实证评估的预印本、涉及具身/自我中心/视频/三维场景设定下的VQA、英文撰写、报告实证评估或引入基准。排除重复记录、少于三页或无实证内容的论文、仅限静态图像VQA的论文等。从210条初始记录中去除54条重复后，经标题与摘要筛选排除58条，全文评估排除26条，最终形成72篇论文的核心语料。论文还进行了截至2026年7月的定向定性更新，识别出28条补充记录，这些记录仅用于主题讨论，不计入PRISMA计数和年份直方图。
2.2 数据提取与定性编码
提取表记录了每篇文献的引文键、标题、作者、年份、发表场所、持久标识符及语料归属。数据集表记录了观测模式、导航和物理交互要求。PMRA编码对每个功能采用三个值：2（主要）表示该功能是显式方法贡献或具有独立实验/消融；1（次要）表示该功能必要但被复用、固定或未独立评估；0表示超出评估系统范围。论文明确指出，表1中的16个条目是目的性选取的最大变异示例，非随机或统计代表性样本。编码由一位作者完成，无独立第二编码者或评分者间一致性统计量，因此PMRA标签属于单编码者描述性判断。
2.3 生成式AI辅助工具的使用
论文说明使用了ChatGPT（GPT-5.6 Sol）进行语言润色并辅助生成用于绘图的Python代码，但文献检索、参考文献选择、分类体系开发、科学解释和结论均由作者完成，所有AI辅助输出均经作者严格审查和编辑。
3. PMRA分析框架
PMRA将具身QA系统分解为四个反复出现的功能。感知涵盖视觉编码，包括RGB图像、点云、三维场景图和自我中心视频编码。记忆存储和组织感知信息，包括情景记忆、三维语义地图、场景图记忆和检索增强系统，当答案依赖于不再直接可用的观测时记忆变得显式。推理执行空间推理、时间/因果推理、组合式多跳推理和基于LLM的推理。行动涵盖物理动作，包括导航、对象交互和策略性探索。论文强调PMRA并非声称四个功能独立，记忆可同时告知推理和行动，而行动又改变后续感知和记忆。框架的贡献在于将记忆从感知和推理中分离，将答案生成和问题条件化推理归入推理，并将行动视为信息获取与运动执行的双重角色。
4. 三层级分类体系
第一层为任务表述：主动EQA（智能体导航和交互）、情景记忆QA（从存储历史回答）、情境化三维QA（基于三维理解回答）和自我中心视频QA（第一人称视频问答）。第二层为方法架构，包含五个非排他性方法标签：模块化流水线、基础模型方法、记忆中心方法、表征预训练和智能体+工具编排。第三层为能力维度，包括感知、空间推理、时间推理、记忆、规划和行动执行，这些维度作为比较提示而非数值评分。
论文定义了四个基于架构的理想类型。第一阶段为模块化流水线，要求独立设计或训练的感知、导航和回答组件，无共享预训练视觉-语言模型作为核心接口，局限性在于模块间错误传播。第二阶段为基于VLM的接地，要求预训练视觉-语言模型提供核心语义表征或推理接口，而行动缺失或由独立下游模块控制。第三阶段为基于VLA的智能体，要求行动表征或控制输出在多模态模型内预测或紧密耦合，局限性包括行动标记化、计算成本和缺乏安全保证。第四阶段为智能体+工具系统，要求控制器对可检查工具或API进行迭代调用，或读写影响后续决策的外部维护状态。论文强调阶段分配依据论文的主要系统贡献而非发表年份，且第四阶段不假定普遍优于前三个阶段。
5. 研究全景
5.1 基础EQA（2017-2021）
早期EQA确立了视觉→导航→回答的通用流水线。Wijmans等人将EQA扩展到照片级逼真的Matterport3D，发现简单基线（仅前进和随机导航）具有竞争力，暴露了评估设计的局限性。Gordon等人引入交互式QA（IQA），通过多时间抽象层级的分因子控制器扩展至对象交互。VideoNavQA通过提供近似理想轨迹将导航与QA解耦。模拟平台方面，AI2-THOR支持交互对象，Habitat强调高通量模拟，iGibson 2.0提供对象状态和VR接口。
5.2 自我中心与长形式接地QA
Ego4D引入了大规模自我中心数据集（3670小时、931位佩戴者、74个地点）。EgoSchema引入“时间证书集”，发现其片段所需时间推理比最接近的竞争者长5.7倍，即使十亿参数模型准确率也低于33%，而人类为76%。记忆中心方法方面，EMQA要求模型维护恒定大小的视频输入表征，R-EQA将检索增强生成应用于EQA并报告选择性检索带来10%的提升，Memory-Centric EQA提出结构化实体记忆以避免冗余探索。HCQA在EgoSchema上报告75%准确率。EgoThink和VidEgoThink评估第一人称推理，报告所有被评估VLM（包括GPT-4V）表现不佳。
5.3 三维场景理解用于QA
ScanQA提出RGB-D扫描上的三维QA（41000+对、800场景），SQA3D扩展至智能体位置和朝向关键的情境化QA。3D-LLM通过点云特征将三维理解注入LLM，LEO通过三维视觉-语言-行动指令调优统一所有PMRA模块。GraphEQA展示了使用实时三维场景图进行分层规划的真实世界部署。论文区分了可观测性：ScanQA和SQA3D提供预构建场景观测，而GraphEQA和LEO包含部分可观测设定。
5.4 高级三维空间推理
3D-Mem用多视角记忆快照表示已探索区域，用前沿快照表示未探索区域，支持前沿探索、增量构建和记忆检索。GSMem采用三维高斯泼溅作为持久记忆，可渲染未见视点。CoV和ViewMind3D进行免训练视角感知推理。E3VS-Bench要求五自由度视点控制以揭示标准相机姿态下不可见的证据。Thinking in Space通过VSI-Bench（5000+ QA对）研究视频观测中的视觉-空间推理，报告被评估MLLM存在大量空间推理错误。
5.5 基于智能体和工具增强的EQA
GraphPad引入可修改的结构化记忆，智能体可在推理期间通过API调用定制，包含可变场景图、导航日志和草稿板。EfficientEQA结合语义值加权前沿探索、开放词汇答案生成和自适应停止机制，报告比评估基线准确率提高15%以上、探索步骤减少20%以上。Explore-until-Confident使用校准的VLM置信度决定何时收集足够证据。Mind Palace研究长期主动EQA（LA-EQA），智能体在数天或数周内运行并回答时间接地问题。
5.6 基于基础模型的EQA
PaLM-E将视觉、语言和控制集成于单一模型（高达5620亿参数），报告跨任务正迁移。RT-2将机器人行动表示为文本标记，与网络规模视觉-语言数据共同微调。论文识别出基础模型方法四类反复出现的局限性：数据和基准偏差、物理推理错误、具身微调下的保留性、评估-部署不匹配。
5.7 现代基准与新兴前沿
OpenEQA提供1600+问题、180+真实环境和基于LLM的评估。NoisyEQA和DarkQA测试噪声和低光条件下的鲁棒性。EXPRESS-Bench结合答案质量与探索效率。ExploraQA包含12436个开放式问题，评估长时程主动探索，论文明确将其视为纳入核心语料的OpenReview投稿而非同行评审证据。
5.8 VideoQA基础
早期VideoQA方法使用异构记忆和层级关系网络。HowToVQA69M实现自动化数据生成，NExT-QA关注因果推理，FrozenBiLM实现冻结双向LM的高效零样本VideoQA。自我中心预训练包括EgoVLP、EgoVLPv2和LaViLa。
6. 方法论分析
6.1 实验设计
文献使用四种反复出现的实验设计：固定观测上的基准评估、基于模拟的具身评估、物理或记录的真实世界评估、自动生成的数据或问题。模拟在多项交互式EQA研究中使用，而物理机器人验证示例较少。
6.2 数据集分类
论文对20个选定数据集进行分类。其中4个编码为主动、1个兼具主动和物理交互，因此20个中5个（25%）允许或要求主动探索。仅IQUAD V1编码为要求物理对象交互（20个中1个，5%）。这些计数描述选定数据集表而非完整72篇语料。
6.3 评估批判性评估
基于准确率的评估对多项选择题直接但约束答案空间。文本生成指标如ROUGE、BLEU和METEOR可能遗漏语义等价。基于LLM的评估（如OpenEQA使用）可与人类判断相关，但引入评判者偏差、提示敏感性、版本漂移和闭源依赖。具身特定评估增加成功率、路径效率、探索覆盖率或停止质量。
7. 实证分析与推断
7.1 PMRA贡献分析
表1中的目的性映射支持有限架构对比。某些模块化和被动视频系统将记忆视为瞬态隐藏状态，行动为独立策略提供的导航。其他系统将持久记忆或问题条件化探索设为显式方法组件。这是描述性排序，非时间或性能排序。
7.2 关键推断
观测1：信息获取策略可改善效率-准确率权衡。EfficientEQA报告更少探索步骤同时保持答案准确率，Explore-until-Confident研究校准停止。观测2：多个近期EQA系统将结构化记忆作为显式设计元素。固定大小压缩记忆（EMQA）、检索增强记忆（R-EQA）、基于API的可变记忆（GraphPad）、持久三维记忆（3D-Mem）和长期情景记忆（Mind Palace）之间的对比说明了接口显式性的不同程度和形式。论文还讨论了Kahneman双过程理论与API可查询记忆的概念性平行，但明确将其视为开放假设而非已确立的解释。
8. 研究热点与前沿
8.1 选定研究主题
基础模型用于具身AI出现在多个综述系统中。自我中心理解围绕Ego4D生态和AR/VR动机扩展。三维场景理解包括基于扫描的QA、情境化QA和场景记忆方法。基于智能体和工具增强的EQA在核心语料和定性更新中均出现。
8.2 跨范式分析
论文讨论了准确率与效率、迁移与任务特定状态、可检查状态与集成、智能体+工具灵活性与编排成本之间的权衡，并强调证据来自不同基准，不应视为受控类别级比较。
8.3 关键争论
端到端与模块化之争、主动探索与情景记忆之争、评估充分性之争。论文指出使用表面相同的“GPT-4评估”的论文在提示或模型版本不同时可能不可比。
9. 研究空白与未来方向
9.1 当前局限性
五个反复出现的关注点：模拟到现实的差距、计算效率证据有限、表格化样本中交互有限（20个数据集中仅1个要求物理对象交互）、评估碎片化、安全评估不发达。
9.2 面向2030年的未来方向
模型架构方面：世界模型集成EQA、神经符号推理、工具增强智能体。学习范式方面：自监督探索、带记忆API的持续学习、多智能体协作EQA。部署与安全方面：模拟到现实迁移策略（域随机化、元学习、传感器噪声建模）、边缘部署的高效EQA、安全认证。
10. 结论
论文总结了核心贡献：PMRA分析框架与三层级分类体系、描述性综合、关键空白分析与九项未来研究方向。论文明确承认局限性：72篇核心语料是精选而非穷尽性的，28条定性更新是非系统性的，原始数据库搜索无法从保留记录中完全重建，表1编码为单编码者描述性判断，未报告语料级PMRA频率、H/M/L能力评级或1-10雷达评分。
