基于优化相机布局、多视图去重技术和大型语言模型语义理解的智能室内人员检测系统

《Engineering Applications of Artificial Intelligence》：Smart indoor occupancy detection based on optimized camera placement, multi-view de-duplication, and large language model semantic understanding

智能建筑中多摄像头室内occupancy检测与语义分析框架，提出四阶段方法：1）基于场可视度和网格模型的相机多目标优化 2）边缘端YOLOv8人体检测 3）DeepSORT跨摄像头身份跟踪消除重复计数 4）多模态LLM生成自然语言总结和结构化JSON输出。实验验证在重遮挡和服装变化场景下框架的实时性与鲁棒性，首次实现身份感知多摄像头去重与LLM场景解释的整合，为建筑能效优化提供精准 occupancy analytics 和行为语义理解。

　　

刘德丽|周晓萍|陈东晓|李宇

北京建筑大学，中国北京100044

摘要

在室内环境中准确检测人员数量对于优化能源使用、提高居住者舒适度以及确保智能建筑的安全至关重要。本研究旨在设计并验证一个端到端的框架，该框架不仅能可靠地统计人员数量，还能生成关于他们的行为和空间互动的丰富语义描述。我们提出了一种四阶段方法：（1）通过视野分析和网格建模对摄像头位置进行多目标优化，以最大化覆盖范围并最小化盲点；（2）使用经过微调的You Only Look Once 8（YOLOv8）模型进行设备端的人员检测；（3）使用Simple Online and Realtime Tracking with a Deep Association Metric（DeepSORT）进行跨摄像头身份跟踪，以分配唯一的全局标识符并消除重复计数；（4）一个多模态大型语言模型（LLM），该模型利用带有身份标签的多视图图像生成连贯的自然语言摘要和结构化输出，详细说明人员数量、动作和位置。在包括严重遮挡和衣物变化等具有挑战性的场景在内的多样化多视图数据集上进行的广泛评估证明了所提出框架的稳健性和实时适用性。这项工作的主要贡献是首次将具有身份识别的多摄像头去重功能与大型语言模型驱动的场景解释相结合，从而实现了超越简单人员计数的自动化、可操作的洞察力。这种新颖的组合通过提供精确的人员分析以及上下文理解，促进了智能建筑管理，支持自适应控制和节能运行。

引言

在住宅、办公和教育建筑等室内空间中获取人员数据对于智能应用和服务的进步变得至关重要（Jia等人，2019；Shen等人，2017）。得益于近年来物联网（IoT）（Rinaldi等人，2019；Akkaya等人，2015）和智能家居（Yang等人，2018）等技术的发展，现在可以收集这些数据。这些传感器能够捕获温度、空气质量甚至振动等多种数据。通过分析这些传感器数据，可以了解环境的动态变化，进而创建真正智能的应用程序。最近，像摄像头这样的视觉传感器因其精确的人员检测、定位和活动识别能力而变得特别有价值，使它们成为高级室内监控和分析不可或缺的部分。

最近的研究强调了建筑行业在成本效益高的碳排放减少方面的巨大潜力，尤其是在运营阶段（Zhang等人，2024a；Yan等人，2023；Ma等人，2024）。特别是来自视觉分析的准确实时人员数据，使得基于需求的能源管理策略成为可能，例如自适应的供暖、通风和空调（HVAC）以及照明控制（Deng等人，2025）。随着向碳中和建筑的转型加速，将先进的人员检测与可操作的结构化分析相结合对于支持建筑环境的脱碳和智能运行变得越来越重要。

近年来，随着物联网、人工智能和大数据技术的快速发展，智能建筑的概念逐渐进入了公众视野（Jia等人，2019；Qolomany等人，2019）。智能建筑通过传感器网络和自动化系统实现室内环境的实时监控和控制（Dong等人，2019；Vijayan等人，2020）。它们还可以根据外部条件和用户需求动态调整，从而实现高效的能源使用，同时提高居住者的舒适度（Mutis等人，2020；Ahmad等人，2021；Rueda等人，2020）。在这种背景下，室内人员检测技术已成为智能建筑中的关键技术，受到了越来越多的关注。

现有的室内人员检测方法通常分为基于传感器的方法和基于视觉的方法（Wang等人，2024；Yang等人，2023；Sun等人，2020）。基于传感器的方法，如红外、超声波和压力传感器，成本效益高且易于部署。然而，这些方法在范围上有限，难以确定人员的确切数量和位置，并且容易受到环境因素的影响。相比之下，基于视觉的方法依赖于摄像头来捕获图像数据（Wang等人，2023），利用图像处理和模式识别技术来检测和跟踪人员。基于卷积神经网络（CNN）的算法——尤其是YOLO（You Only Look Once）系列（Jiang等人，2022）——在准确性和速度上取得了显著改进，使其非常适合实时监控应用。

虽然这些方法可以提供详细的空间和人员信息，但许多现有方法主要关注检测和跟踪，对室内场景的语义解释有限。尽管最近关于人体姿态估计的研究提供了一些关于人员动态行为的见解，但这些方法受到大规模标记数据集和预定义动作集的限制，这进一步限制了它们在室内监控中的整体适用性。

为了解决上述问题，本研究提出了一种将具有身份识别的跟踪功能直接嵌入到多模态大型语言模型（LLM）输入阶段的新型框架。与仅依赖于像素级检测的先前工作不同，我们的方法利用跟踪算法生成的“全局身份”作为LLM的语义锚点。本文的主要贡献总结如下：

•

一种新颖的语义去重集成机制：我们建立了一个“约束生成”工作流程，其中多摄像头重新识别（Re-ID）模块作为LLM的物理约束层。通过向LLM提供带有身份标签的视觉提示，我们解决了多视图重叠时常见的“人员幻觉”问题，使生成模型能够产生准确、身份一致的场景描述（例如，从不同角度看到的同一个人被正确识别为单一语义实体）。

•

用于建筑控制的结构化语义转换：我们通过使LLM能够输出结构化的JavaScript对象表示法（JSON）数据和自然语言，弥合了计算机视觉和建筑自动化系统（BAS）之间的差距。这种特定的集成将原始边界框转换为可操作的语义洞察（如精确的活动强度和位置），可以直接被HVAC控制算法解析。

•

端到端优化和边缘设备部署：我们在资源受限的边缘设备（树莓派）上展示了这种复杂集成的实际可行性。该框架结合了多目标摄像头位置优化，以物理上最小化盲点，从而确保下游跟踪和LLM推理模块获得高质量的视觉输入。

部分摘录

文献综述

室内人员检测技术在智能建筑、节能系统和安全监控中有着广泛的应用。其目标是使用各种传感器和算法准确确定室内空间的占用状态。这项技术主要可以分为三类：基于传感器的检测、基于环境的检测和数据驱动的方法。

方法

如图1所示，我们的系统包括一个用于智能室内人员检测和语义场景分析的四阶段流程。首先，我们通过建模每个摄像头的视野并应用多目标算法来优化摄像头位置，以确保最大覆盖范围和最小冗余（第3.1节 视野分析，第3.2节 摄像头位置的多目标优化）。其次，部署的摄像头持续捕获图像，这些图像使用基于YOLOv8的算法进行处理

实验与结果

我们在一个真实的房间环境中进行了实验，目标如下：

1.

使用多目标优化方法确定摄像头的最佳位置，确保空间内的最大覆盖范围和最小盲点。

2.

通过解决同一人被多个摄像头捕获导致的重复计数问题，确定空间内实际的人数。这涉及开发一种准确识别和跟踪独特个体的方法

研究意义

本研究通过将具有身份识别的多摄像头人员检测与LLM集成，做出了创新性贡献。与传统方法主要关注存在检测或简单的人员计数不同，我们的方法独特地从多个摄像头视角合成了一致的身份人员数据，并结合了LLM提供的高级语义场景解释。具体来说，我们的系统使用YOLOv8进行准确的人员检测，并优化摄像头位置以最小化

结论

在这项工作中，我们提出了一个真正新颖的端到端系统，将具有身份识别的多摄像头人员检测与大型语言模型驱动的语义解释相结合。我们的流程首先使用多目标视野和基于网格的优化来确定摄像头布局，以最大化空间覆盖范围，同时最小化硬件成本。接下来，每个摄像头在设备上运行经过微调的YOLOv8检测器来识别人员并标注边界框。这些注释是

CRediT作者贡献声明

刘德丽：撰写——审稿与编辑，撰写——初稿，方法论，调查，数据管理，概念化。周晓萍：撰写——审稿与编辑，方法论，资金获取，概念化。陈东晓：方法论，概念化。李宇：方法论，概念化。

利益冲突声明

作者声明他们没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。

致谢

本研究得到了国家自然科学基金（项目编号：62271035）和北京自然科学基金（项目编号：4202017）的资助。