超越像素：面向人类活动支持的深度学习高层场景理解跨领域综述

《Image and Vision Computing》：Beyond pixels: A comprehensive survey on deep learning-based scene understanding for human-centered applications

　　

提供面向人类活动支持的基于深度学习（Deep Learning, DL）的场景理解（scene understanding）跨领域（cross-domain）综述。识别建筑（construction）、外科（surgical）和辅助（assistive）环境为关键领域。分析领域特定需求（domain-specific needs）如何塑造场景理解（scene understanding）的使用。强调限制真实世界采用的领域无关（domain-independent）挑战。

论文解读：超越像素：面向人类活动支持的深度学习高层场景理解跨领域综述

研究背景与问题。近年来，技术作为人类活动辅助工具的重要性上升，强调提升人类表现、安全与情境意识。以人为本设计将用户需求置于设计与决策中心，Industry 5.0进一步将人置于工业过程中心，推动人-AI协作而非替代。该背景下，智能人本环境需兼顾用户需求、性能与效率。人本系统需基于用户行为和情境提供自适应辅助，因此要求计算方法以接近人类的语义深度感知和解释环境。人工智能（Artificial Intelligence, AI）可将异构数据转化为理解情境和生成自适应支持的信息；视觉数据因能自然表示环境结构、对象、姿态、动态和交互而居核心，计算机视觉（Computer Vision, CV）和深度学习（Deep Learning, DL）因而成为用户中心系统的关键技术。场景理解（scene understanding）指考虑语义组件、空间组织、时间演化和关系结构来解释环境。早期研究聚焦实例级和像素级任务，如边界框和分割掩码，但不足以推理复杂、动态和信息丰富环境。对以人为本辅助，需要深层解释：不仅识别有什么，还要识别元素如何关联、交互和影响活动。现有综述多局限于单一领域或低层语义任务，未系统考察高层场景理解如何跨情境支持人本活动，且未以人本交互为文献选择标准连接多领域。因此，该综述提出并研究高层场景理解主要应用领域，并以三个研究问题引导：哪些领域使用基于人-物/人-环境交互的高层场景理解支持人的活动；各领域具体需求及算法如何提供支持；跨领域研究空白和未来挑战。

主要关键技术方法。研究人员采用PRISMA 2020（系统综述报告规范）指导的系统综述。检索数据库为Scopus和IEEE Xplore；关键词分三组并以AND连接、组内OR连接：深度学习/神经网络/计算机视觉；场景理解/场景分析/情境感知；人因/工人/工作/人类活动/职业健康/Industry 5.0/人机/以人为本/智能环境/安全/人类支持/活动监测/决策。检索标题、摘要和关键词。纳入标准包括2021年1月至2026年7月、Q1或Q2 SJR期刊、会议论文SJR>1、部分或完全基于CV、主要支持人类活动、显式建模人-物/人-环境交互；排除综述、论文、书、网页、无全文和非英文文献。最终纳入37项研究。该研究为文献综述，无生物样本队列；文献来源为Scopus和IEEE Xplore。作者按应用环境、支持目的、时间和3D信息使用、关系建模技术进行归纳。

研究结果。3.1 建筑环境。建筑工地危险，个人防护装备（Personal Protective Equipment, PPE）合规监测需求强。传感器方法有局限，视觉方法非侵入。早期目标检测，后结合人体姿态估计。Chen and Demachi用目标检测定位PPE和姿态估计提取姿态，计算关节点与PPE距离，组织为场景图（scene graph），与规则图比较识别违规。后续改进遮挡和低光，并用自然语言处理（Natural Language Processing, NLP）自动规则翻译。Zhang et al.用Transformer学习图像元素关系生成场景图，并用C-BERT（Construction-Bidirectional Encoder Representations from Transformers）比较自然语言安全规则。Liu et al.用卷积神经网络（Convolutional Neural Network, CNN）提取视觉关系，将图像和法规文本编码为主谓宾关系三元组。Pan et al. Image2Triplets结合零样本检测（Zero-Shot Detection, ZSD）和零样本人-物交互（Zero-Shot Human–Object Interaction, ZSHOI）自动更新知识图谱（Knowledge Graph, KG）。Zhong et al.用编码器和长短期记忆网络（Long Short-Term Memory, LSTM）解码器生成自然语言描述。Deng et al.针对塔吊吊装，用空间注意力和beam search改进描述。Li et al. SafetyGPT结合视觉分析、安全法规和监督者文本/请求。Kim et al.提出法规引导视觉问答（Visual Question Answering, VQA）框架用于梯子安全，从KOSHA Guide G-130-2020导出九个问题，微调BLIP-1生成句子级法规感知答案，含不确定性输出和可解释安全报告。Abidi et al. SafeVision分离全局和局部解释，含场景感知推理器（SAR）和区域聚焦神经推理器（ReFiNER），门控融合并投影到LoRA微调Flan-T5，支持边缘硬件。Chan et al.用多模态模型半自动标注和两阶段课程学习。Xie et al.用3D点云和时空图卷积网络（Spatio-Temporal Graph Convolutional Network, ST-GCN）建模工人运动与人-物交互。建筑安全监控通用流程包括视觉数据采集、特征提取、关系理解、安全推理和安全反馈。

3.2 手术环境。手术场景理解用于术中支持、技能评估、实时反馈、自动报告。腹腔镜微创，间接视野和器械使用增加难度。Nwoye et al. Rendezvous（RDV）用Transformer识别手术动作，表示为instrument–verb–target三元组。Murali et al. LG-CVS用CNN提取场景图，图神经网络（Graph Neural Network, GNN）和两个解码器预测腹腔镜胆囊切除术关键安全视野（Critical View of Safety, CVS）三项标准。Zhang et al. TAI-GNN用GNN跟踪解剖标志并考虑帧间时序。Lin et al. ITIDNet用时序图层建模帧内和帧间器械-组织关系检测交互。Yang et al. SurgVISTA为首个视频级自监督预训练框架，用3650手术视频进行掩蔽视频重建，并通过图像级手术专家模型知识蒸馏，在手术工作流识别、动作识别、三元组识别和技能评估四任务评估。自动报告方面，Xu et al.用Transformer编码器-解码器、梯度反转对抗学习和标签平滑提高域漂移下的报告生成。Lin et al. SGT++处理图像和场景图，显式编码器与原型记忆隐式编码器识别隐藏关系。Wang et al.动态更新视频帧场景图，用CNN捕捉时序交互生成时间感知报告。Pang et al.用Grad-CAM和Grad-CAM++提取局部特征，省去传统检测器，支持场景字幕和场景图生成。Yuan et al. SSG-VQA-Net结合视觉特征与场景图进行手术VQA。Low et al. SurgRAW用多智能体视觉语言模型（Vision-Language Model, VLM）和Chain-of-Thought，分感知与推理流，面板讨论与静态器械-动作知识图谱交叉检查，检索增强临床知识。Xu et al. P-CBLS用节奏化课程与标签平滑提高可靠性和校准。整体手术室方面，2D场景图缺几何深度，3D缺语义且标注难，因而采用双模态。?zsoy et al.用3D人体/物体姿态生成语义场景图，含虚拟节点和时序，用于临床角色预测和手术阶段识别。Pei et al. S2Former-OR用单阶段双模态Transformer端到端生成场景图。?zsoy et al. MM2SG整合多视图RGB-D、细节视图、音频、语音转录、机器人日志、红外跟踪和分割掩码，用于场景图生成、手术阶段预测、下一动作预测和无菌破坏检测。手术支持可归为术中支持、自动报告、整体OR分析三类流程。

3.3 特殊需求辅助环境。目标是促进独立移动和日常活动。传统手杖、导盲犬和人工辅助有局限。早期CNN提取低语义特征，障碍物检测后用深度或激光传感器按固定几何规则估计距离。Cao et al. DFFTNet用Transformer图像描述替代距离/运动估计，提高关系推理。Yuan et al. WalkVLM用于盲人行走的流视频分析，采用思维链分层规划将场景理解分为感知、理解和决策，并用Temporal-Aware Adaptive Prediction根据历史帧和状态决定提醒时机。Zhao et al. LaF-GRPO用第二个大语言模型（Large Language Model, LLM）模拟视觉障碍用户对指令的解释和行动，并据此奖励模型，避免昂贵真实用户试验，生成比GPT-4o更清晰准确指令。Dessalene et al.用CNN估计手-物关系，3D CNN利用深度，图卷积网络（Graph Convolutional Network, GCN）建模时序，LSTM预测未来动作。Su and Chen用场景图和GNN预测日常活动及涉及物体，可集成智能家居。Yang et al. EgoLife的EgoButler结合EgoGPT全模态第一人称描述和EgoRAG检索增强分层记忆，支持超长时序问答、习惯、人际互动和提醒。Huang et al. EgoDynamic4D融合实例感知点特征、傅里叶时间编码和跨注意力相机嵌入，经LoRA微调投影到LLM，推理人-物、人-人空间关系随时间演化。Sajid et al. TransFlow-HOI用Transformer融合RGB和光流，I3D特征经多头自注意力，并用SVM、Random Forest和XGBoost集成，在HOI4D数据集区分相似操作。Liu et al. OpenSU用Transformer分析单图像，生成详细描述和物体掩码。Kim et al.结合生物启发特征提取器、视觉Transformer（Vision Transformer, ViT）编码器和经强化学习优化的LSTM解码器，输出语音消息。辅助环境通用流程为采集、特征提取、关系理解、反馈。

讨论总结。4.1 领域特定需求与技术支持形式。建筑安全监控集成实时视频、场景理解与NLP，使用YOLO、Mask R-CNN、ResNet等，目标为增强而非替代人类监督。手术领域关注术中支持、自动报告和整体OR；常用ResNet骨干、器械检测、动作识别、阶段识别，图模型和Transformer建模器械-组织关系及CVS。辅助领域关注独立导航、环境描述和日常活动，使用CNN、ViT、GNN、3D和时序，音频或振动反馈，并常融合深度或惯性传感器。关系建模技术方面，图方法在外科最常用，Transformer/注意力从2025年起在建筑和辅助环境占主导，CNN和循环机制多见于早期研究。4.2 领域无关挑战与未来指南。跨领域趋势是从简单网络到高级架构、3D和时序，但3D整合仍少：手术3项、建筑1项、辅助2项；时序建模也有限：建筑1项、手术6项、辅助4项。多模态融合、自监督预训练、语言推理和智能体协调仍少见。主要挑战包括标注成本高和训练数据代表性不足，推动开放词汇场景理解、零样本/少样本和知识图谱先验；计算复杂度高，需实时性，单阶段架构和效率优化在手术中已有探索，知识蒸馏和视觉token减少仍未被充分用于部署；终端用户视角不足，评估多局限于模拟或实验，真实临床和现场纵向验证少，样本多样性有限。未来需可扩展标注、3D和时序整合、高效模型以及跨学科用户中心验证。

研究结论翻译。高层场景理解指超越对象识别或图像分割的计算方法，旨在建模视觉环境中的交互、上下文依赖和有意义的relationship。这些技术使系统能够更接近人类推理地解释场景。随着真实环境变得更复杂、动态和信息丰富，这种上下文推理对任何应安全有效支持人类活动的人工智能系统日益必要。本综述旨在识别高层场景理解支持人类活动的主要情境，通过分析和解释人-物和人-环境交互，提供情境感知反馈，以提高安全性、效率和情境意识。采用结构化选择过程和纳入标准，三个应用领域在近期文献中最具代表性：建筑环境、手术环境和特殊需求用户辅助环境。在这些领域，综述梳理了领域特定需求和领域无关挑战，考察了支持形式，并强调了当前限制真实世界采用的约束。未来进展需要可扩展数据标注以提高模型泛化和多样性，整合3D和时序信息以准确捕捉空间和动态上下文，计算高效模型以确保安全关键环境中的实时适用性，以及以用户为中心的跨学科方法，通过行业专家和终端用户积极参与，使系统设计与真实需求一致并提高信任和可用性。