一种利用视觉语言模型简化占用估计的多模态融合框架

《Building and Environment》:A Multimodal Fusion Framework Leveraging Vision-Language Models for Streamlining Occupancy Estimation

【字体: 大 中 小 】 时间:2026年09月24日 来源:Building and Environment 8.4

编辑推荐:

   •基于视觉-语言模型(VLM)的无标签占用估计轻量级框架。•通过CLIP架构实现CCTV与CO2数据的多模态融合。•将高估率从10.5%降至3.4%,并在严重遮挡条件下维持在2.1%。•显著缓解了幻影占用和数值不稳定问题。•展示了占用推断的稳健零样本跨站点迁移能力。引言全球能

  
  • •
    基于视觉-语言模型(VLM)的无标签占用估计轻量级框架。
  • •
    通过CLIP架构实现CCTV与CO2数据的多模态融合。
  • •
    将高估率从10.5%降至3.4%,并在严重遮挡条件下维持在2.1%。
  • •
    显著缓解了幻影占用和数值不稳定问题。
  • •
    展示了占用推断的稳健零样本跨站点迁移能力。

引言

全球能源紧迫性要求建筑系统仅在有人使用时精确地分配通风和热能输送,而非基于固定时间表和保守安全边际运行。建筑物约占全球终端能源消耗的30%及运营碳排放的主要份额,其中暖通空调(HVAC)系统往往占终端用能的60%以上[[1], [2], [3], [4], [5], [6], [7], [8]]。然而,商业建筑的普遍做法仍是基于时间表的静态控制,无论实际使用情况如何,均假定最大或名义占用人数,导致系统性的过度通风和重新加热,以及部分区域调节不足[[9], [10], [11]]。
从基于时间的启发式方法转向动态的、以占用人数为驱动的控制系统——并最终迈向智能建筑和数字孪生工作流[12,13]——需要占用推断不仅准确,还须保护隐私、在边缘端计算可行,并且能够跨多样化空间泛化[[14], [15], [16], [17], [18], [19]]。传统传感策略仅部分满足这些需求[20,21]。使用CO?、温度、湿度、被动红外(PIR)、超声波或声学设备的环境感知成本低廉且非侵入性,但这些信号反映的是瞬时物理状态,容易受到通风故障、太阳辐射增益或设备散热的干扰,使得情境解读和及时控制变得困难[[22], [23], [24], [25], [26]]。此外,CO?动态变化根据空间大小和通风速率表现出显著的时间滞后,使实时推断变得复杂[27]。基于网络的占用推断方法通过Wi-Fi/低功耗蓝牙(BLE)连接来代理占用人数,避免了摄像头,但依赖于设备使用情况、访问策略和网络拓扑,削弱了跨站点可迁移性[9,16,28]。
基于视觉的方法,包括YOLO、Faster Region-based Convolutional Neural Network(Faster R-CNN)、Swin以及基于室内头部检测的方法,可以在受控或经过整理的场景中以高帧级精度直接计数人数[[29], [30], [31], [32], [33], [34]]。然而,在遮挡、光照变化和视角偏移等条件下——这些条件在实际运行建筑中频繁出现——其性能可能下降,且其使用可能引发隐私和合规方面的担忧[25,26,33,34]。为此,多模态融合已被用于将环境时间序列与视觉目标计数相结合;然而,拼接异构特征(数值序列、分类标签、图像)往往导致语义损失,使在受限硬件上的部署变得复杂,并且产生脆弱模型,无法泛化到开发场地之外[9,[14], [15], [16]]。
例如,先前的研究已在互补的融合方向上推进了建筑占用人数估计,包括带有自适应lasso特征选择的环境-Wi-Fi传感器融合[35]、用于实时暖通空调(HVAC)预测控制的端到端基于CNN的图像融合[36],以及结合头部检测与动态贝叶斯滤波的多摄像头视觉融合[37]。近期,深度多模态特征融合(DMFF)方法被引入用于将环境流与视觉流结合进行建筑占用检测[38],展示了在仪器化建筑中联合学习的特征融合的有效性。然而,此类特征融合方法通常学习针对传感器配置、空间布局和摄像头几何优化的表示。因此,将其迁移到建筑特征不同的房间而无需目标站点重新训练尚未得到系统性验证。这留下了一个特定的研究空白:在共享语义空间中融合异构的环境和视觉证据,且无需重新学习融合映射即可跨站点迁移。
近期的视觉-语言模型(VLM),基于基础模型范式[39,40],提供了一条本质不同的路径。如对比语言-图像预训练(CLIP)等模型将图像和文本对齐到共享的语义嵌入空间中,使得概念级图文匹配和跨域特征迁移无需微调VLM主干网络[[41], [42], [43]],而非仅依赖于封闭的视觉分类体系[[44], [45], [46], [47]]。对于占用检测,这使得无需识别个人即可推断有人存在成为可能:模型可以读取场景级证据——移动过的椅子、通电的显示器、桌上的个人物品——以提示的方式表达,而环境信号(例如温度稳定情况下CO?上升)被转化为简洁的文本陈述并由同一模型解读[2,16,44,47,48]。在语言空间中运行使异构模态变得可比较,并可通过减少保留原始图像的需求来促进隐私保护设计部署。在本研究中,零样本一词专门用于描述从有标签的源站点向未见过的目标站点的跨站点迁移,且无需在目标站点进行微调[18,19,44,47,48]。
本文推进了一个以VLM为核心的多模态框架,通过语义提示和传感器到文本的转换将环境测量与视觉上下文统一起来。为了系统地确定语义在何处增加价值,我们使用固定的XGBoost回归器对逐步抽象的输入方案进行基准测试——对象级视觉(YOLO)、朴素多模态融合(YOLO + Sensor)以及高层视觉-语言融合(CLIP + Sensor)[[49], [50], [51], [52]]。通过保持学习模型不变,我们隔离出语义融合的表示性优势。在多样化办公环境中进行的现场评估,配合同步的环境和视觉传感,表明语义融合在视角变化、严重遮挡和不同使用模式条件下能够保持稳健的精度和时间一致性,同时部署协议仅保留去标识化的语义表示,无需目标站点微调[2,9,[14], [15], [16],[22], [23], [24]]。
我们的贡献有三方面:
  • (1)
    具有隐私保护设计部署的语义占用推断。我们提出了一种以上下文为中心的方法,从场景线索和传感器叙事中推断占用人数。在部署期间,每帧原始数据在设备上进行瞬时处理,既不传输也不存储;仅保留低维度的去标识化语义分数和嵌入用于推断。这种设计减少了对携带身份信息图像数据的依赖,并遵循数据最小化原则[18,19,44]。
  • (2)
    通过语言实现统一多模态融合。通过将CO?浓度及其短期趋势转化为确定性文本,并将生成的传感器文本嵌入与提示条件化的视觉语义分数拼接,我们构建了在语言对齐表示中的CLIP驱动的传感器文本化XGBoost(CS-XGB)输入。这种方法减少了直接拼接异构低层特征所带来的表示不匹配问题,并提高了在跨站点域偏移条件下的鲁棒性[[46], [47], [48]]。
  • (3)
    无需目标站点重新训练即可实现的实用性。我们展示了一个流程,其中冻结的视觉-语言主干网络与紧凑的梯度提升回归器(XGBoost)配对使用,因此在新的站点部署时无需目标站点标注,也无需微调视觉主干网络。由于基于Transformer的视觉-语言编码器在边缘部署文献中所使用的"轻量级"意义上并不轻量[53],我们刻意避免将整个框架描述为轻量级的,而是在第3.3节中报告其实测计算概况[[49], [50], [51], [52]]。这种零样本跨站点迁移显著减少了在不同建筑环境中目标站点标注和特定站点重新校准的开销[17,[44], [45], [46], [47], [48]]。
本文其余部分在第2节详述测试平台和数据处理,第3节介绍所提框架和基准设计,第4节给出带有消融实验和失败模式定性分析的实验结果,第5节讨论实际应用意义、局限性和未来方向。

章节摘要

部署场景与问题定义

占用估计中的站点泛化能力在一个以部署为动机的协议下进行了考察,该协议中模型使用单一源环境中的有标签数据进行训练,并在未经过目标站点微调的情况下在未见过的目标环境中进行评估。这一设置反映了实际建筑部署中的情况,即为每个新站点收集目标站点标签和重新校准模型可能成本高昂或不可行。预测目标定义为以一分钟为分辨率。每个时间步t

方法论

为了系统地评估不同输入表示如何影响占用估计,我们采用了一种模态受控的实验设计。目标是保持学习模型和训练协议在所有实验中不变,从而比较视觉信息及其多模态融合的替代表示。图3概述了在所有实验组中使用的特征构建和早期融合流程。对于每个分钟级时间戳,

结果与讨论

本节通过两阶段协议评估所提出的语义融合框架:(1) 在源站点(Site S)上进行域内验证以建立基线,(2) 零样本迁移到未见的目标站点(Sites T1和T2)以评估无需微调的泛化能力。除聚合指标外,还对时间预测行为和误差模式进行了分析,以解释语义融合为何能够抑制高估并产生更稳定、与控制相关的占用估计。

结论

本研究提出了一种基于语义视觉-语言的多模态占用估计框架,解决了基于检测的方法仅依赖传感器方法的关键局限性。通过将传感器文本嵌入与提示条件化的视觉语义分数结合,所提出的方法支持跨站点占用推断和隐私保护设计部署,同时减少了对携带身份信息的图像数据的保留需求。
通过在多个室内环境中进行的受控实验设计,我们

CRediT作者贡献声明

李东九(Dongkyu Lee):撰写——初稿、可视化、形式化分析、概念化。金俊燮(Jun-Sub Kim):撰写——初稿、方法论、调查、数据整理。文炫俊(Hyeun Jun Moon):撰写——审稿与编辑、监督、资金支持。蔡永泰(Young Tae Chae):撰写——审稿与编辑、监督、资源、项目管理、调查、形式化分析。
李东九|金俊燮|文炫俊|蔡永泰
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号