基于计算机视觉、空间知识图谱与大语言模型融合的智能建筑空间管理框架DOMS

《Scientific Reports》：DOMS: Dynamic Occupancy Management System - a space management technique for smart buildings

　　

摘要

智能建筑中的空间管理需要专业知识并依赖人工干预。即使在当今这个现代时代，空间分析和传感器部署点位的选取仍由专家手工完成。尽管由专家规划设计，传感器的放置和部署仍存在效率低下的问题。为解决这一问题，我们提出了一种名为DOMS（动态占用管理系统）的框架，用于改进智能建筑的空间管理。在该框架中，我们集成了计算机视觉、语言模型和基于图的情报，以实现智能空间管理方案。我们利用YOLOv5从楼层平面图中提取结构和几何特征，并利用这些提取的特征来构建空间知识图谱（SKG）。SKG有助于发现楼层平面图中已识别对象之间的语义关系。随后，经过微调的LLaMA 3.2模型对该SKG进行处理，通过语义推理，基于房间用途和人员流动等上下文约束条件，推荐合适的传感器类型、最优部署策略和通信模块。这种混合推理使DOMS能够实现基于物联网的智能环境的自适应、可解释和自动化配置。实验结果表明，与传统占用系统相比，该系统在覆盖精度、人工干预减少和可扩展性方面均有显著提升。