基于多模态融合的动态热舒适度预测及其跨主体泛化能力

《BUILDING AND ENVIRONMENT》:Multimodal Fusion-Based Dynamic Thermal Comfort Prediction for Cross-subject Generalization

【字体: 大 中 小 】 时间:2026年08月07日 来源:BUILDING AND ENVIRONMENT 8.4

编辑推荐:

  摘要:一个稳健且实时的热舒适度评估模型对于构建以使用者为中心的热环境控制系统至关重要。然而,现有的热舒适度模型往往具有主体依赖性,难以推广到陌生个体。为解决这一问题,本研究提出了一种多模态预测模型,该模型整合了表格数据与红外图像特征以实现实时热舒适度评估,并引入CBAM和FiLM

  摘要:一个稳健且实时的热舒适度评估模型对于构建以使用者为中心的热环境控制系统至关重要。然而,现有的热舒适度模型往往具有主体依赖性,难以推广到陌生个体。为解决这一问题,本研究提出了一种多模态预测模型,该模型整合了表格数据与红外图像特征以实现实时热舒适度评估,并引入CBAM和FiLM技术来提升特征表示能力与多模态融合效果。实验数据是在冬季的气候室中,在温度逐步上升的条件下收集的,包括全身红外图像、环境温度、热感觉评分以及热舒适度评分,共计2005组配对样本。研究还训练了八种先进的单模态模型,用以评估不同模态在跨主体推广方面的表现。结果表明,多模态融合能够提供互补信息,从而提升对数据集中未见过的人体的预测精度。ResNet50-ANN模型在温度逐步上升和突然变化条件下的准确率分别达到了71%和81%。Grad-CAM分析显示,面部及上身区域的红外温度分布是影响模型预测的关键因素。此外,研究还系统评估了六种融合策略,其中基于FiLM的融合方式表现最佳。总体而言,所提出的模型为在冬季动态条件下实现实时热舒适度评估提供了一种具有应用前景的方案。

引言:人们超过80%的时间都在室内度过[1]。热舒适度是室内环境质量的重要组成部分[2],它会对使用者的健康[3]、工作效率[4]以及整体幸福感[5]产生显著影响。温度调节与能源消耗密切相关,因为暖通空调系统是维持适宜室内环境条件的主力,其能耗约占建筑总能耗的48%,在各类能耗中占比最高[6]。不过研究表明,建筑物往往存在过冷或过热的情况,导致使用者满意度下降,仅有43%[7]和39%[8]的受访者表示满意。目前,许多办公建筑中的传统暖通空调控制系统通常依据为特定使用者设定的最佳恒温器温度值来运行。这种做法无法适应动态的热环境变化,比如衣物隔热性能的变化。此外,长期维持恒定的环境温度会带来巨大的能源消耗,而不恰当的温度设定则可能进一步加剧建筑的能源浪费[9]。实时检测使用者的热状态被认为是平衡热舒适度与能源消耗的有效途径[10]。因此,评估使用者的热状态对于建筑能源设计而言至关重要。

传统的热舒适度评估方法主要基于热量平衡理论与环境参数。自Fanger在1970年提出预测平均评价值(PMV)模型以来,该模型一直被视为最常用的热舒适度评估指标[11]。它已被纳入众多国际和国内标准中,如ISO 7730[12]、ASHRAE 55[13]以及GB/T 50785[14]。尽管这种方法可应用于学校[15]、办公建筑[16]和医院[17]等多种场所,但其部分输入参数——如空气流速和平均辐射温度——的测量成本较高[18]。同时,现实环境中的各种因素也可能导致PMV预测出现误差,比如温度的动态波动[19]。为克服这些局限性,热舒适度模型开始采用生理参数作为输入,例如皮肤温度[20]和心率[21]。可穿戴设备(如智能手环)能够实时监测生理信号,这些信号可作为热舒适度模型的输入变量,从而提升预测精度[22]。不过,这类方法可能会干扰使用者的正常活动与日常生活[22]。例如,频繁的数据传输和设备充电需求可能会降低用户的接受度[23]。此外,由于需要直接接触皮肤,这类设备还可能带来不适感,或让使用者有持续戴着外来物体的感觉。

计算机视觉技术与人工智能的快速发展为热舒适度评估带来了变革。目前,研究人员更倾向于研究无创的热舒适度测量方法[[24], [25], [26]]。这是因为通过RGB相机或红外相机可以捕捉多种生理信号。其中,皮肤温度相对容易获取,且与人体的热状态密切相关,因此在热舒适度研究中受到了较多关注[27]。例如,Cheng等人运用视频放大技术来估算与热感觉相关的皮肤温度[24]。Jung等人则提出了一种基于视觉的热舒适度量化方法,该方法利用RGB视频和光电容积脉搏波信号来推断使用者的体温调节状态,以便用于暖通空调系统的控制[25]。与RGB成像相比,红外热成像的应用更为广泛,因为它能提供丰富的生理信息,比如体表温度的空间分布情况[26]。基于红外成像的热舒适度评估研究可根据输入数据类型大致分为三类:基于表格数据的、基于图像数据的以及基于多模态融合的数据类型。基于表格数据的热舒适度评估模型是指通过手动或自动方法(如软件工具或计算机视觉技术)从红外图像中的感兴趣区域提取红外温度特征,以实现实时预测的模型。在早期,要从人体特定部位准确提取皮肤温度,通常需要手动在红外图像中定义大小和位置可调整的圆形或方形感兴趣区域。因此,红外图像的分割工作很大程度上依赖于研究人员的手动标注,这限制了自动化程度,也降低了处理效率[28]。随着计算机视觉技术的发展,OpenPose[29]和YOLO[30]等先进的人体检测算法已成为主流方法。虽然这类方法大大提升了红外数据采集的效率,但也容易引入噪声,比如背景温度、物体温度(如家具、桌椅等)以及周围区域的温度。Wu等人采用了手动和自动两种方法从红外图像中提取皮肤温度[31]。Ghahramani等人提出了一种结合红外图像与可见光图像的温度获取方法,他们利用Canny边缘检测算法识别面部轮廓,从而从预定义的感兴趣区域提取温度,该通用模型的准确率为65.2%[32]。He等人则先利用OpenPose算法提取人体姿态,然后再用Canny边缘检测算法将可见光图像与红外图像进行对齐[33]。皮肤温度[31, [32], [33]]或衣物温度[34]的红外测量值被用作预测模型的输入,这些模型既包括经验模型[35](如DTS模型),也包括随机森林[34,[36], [37], [38]]等机器学习方法。不过,从红外图像中自动提取特征时,若包含背景区域或非目标身体部位,就可能会引入与目标身体部位无关的额外热信息。

除了表格数据之外,红外图像也可作为预测模型的输入。Beak等人开发了一种基于视觉的无接触模型,该模型利用热分布图像来捕捉人体与衣物的空间温度分布情况[39]。Li等人则提出了一种基于深度学习的面部图像识别模型,即Attention-ResNet50,该模型利用面部红外图像在夏季和冬季条件下进行热舒适度预测[40]。Miao等人从面部热图像的不同区域提取灰度特征,再利用SAM-ResNet34模型来预测个体的热状态[41]。Wan等人提出了一种Gender-CBAM-EfficientNet-B1模型,该模型将来自视觉图像的性别特征纳入基于图像的学习框架中,最终实现了94.8%的准确率[42]。不过,红外图像容易受到各种干扰因素的影响,比如高温物体、眼镜以及其他反射或遮挡物。这些因素都可能给提取的热特征带来系统性误差。如果没有借助额外的外部传感器,如接触式温度传感器进行实时校准,就很难完全消除这些误差。因此,仅依赖红外图像作为模型输入,可能会限制热舒适度预测的稳定性。

综上所述,基于表格数据和基于图像数据的单模态模型都存在一些共同的局限性:首先,图像中所蕴含的信息未能得到充分利用。例如,大多数研究仅依靠从感兴趣区域提取的传统统计量,如最大值、最小值和平均值,而忽视了温度特征之间的相对差异[[31], [32], [33], [34]]。其次,这类模型无法考虑现实世界中的各种因素,比如数据不完整或缺失的问题。例如,红外相机故障或视频传输错误等故障可能会严重影响系统的稳定性。最后,如果每次有新使用者进入空间就需要更新数据,就会耗费大量的计算资源。由于个体差异的存在,即使使用者处于相同的空气温度环境下,其热反应也可能存在差异[43]。不幸的是,数据集的偏移会限制模型在新使用者身上的适用性,因为通常会发现模型性能会出现下降。虽然这类依赖特定使用者的模型在不考虑跨主体通用性的情况下也能表现出优异的性能,但在实际应用中,它们需要为每个新个体收集额外数据,这就限制了其实用性。一种可能的解决方案是使用每个未曾见过的使用者提供的标记数据来重新训练或微调个性化模型。但由于数据标注需要耗费大量时间和成本,这种方法的成本极高。不过,这些研究大多并未考虑跨主体通用性问题。为克服单模态模型的局限性,有一些研究开始探索将表格数据与红外图像相结合的多模态方法,但这一领域的研究仍然相对有限。多模态融合方法在面部表情识别[45,46]和医学诊断[47,48]等任务中得到了广泛应用,因为它们能够利用不同模态之间的互补信息,从而提升跨主体通用性。此外,这类方法还能提高模型对数据采集设备故障的抵御能力,并通过模态间的互补作用提升整体性能。与其它领域相比,针对热舒适度预测的多模态模型研究仍然相对较少。与单模态信号(如单一红外图像)相比,多模态信号能够更全面地反映热状态。Lan等人基于在教室、图书馆、休息室以及公共户外空间收集的数据,开发了一种多模态热舒适度模型,该模型结合了环境参数与面部热图像[49]。Lu等人则聚焦于手部和面部的红外图像,利用多模态数据构建了一个动态热舒适度评估框架[50]。Yang等人提出了一种多模态热舒适度系统,该系统整合了来自可穿戴传感器和计算机视觉技术的环境参数、生理参数(如皮肤温度和心率变异性)以及行为特征[51]。Lee等人则将音频数据作为非侵入式的使用者反馈来源,他们从房间录音中提取梅尔频率倒谱系数特征,然后将这些特征与环境数据及视觉数据(即RGB视频和红外图像)进行融合,用于热舒适度分类[52]。因此,对红外图像进行多方面分析有助于深入理解体温调节机制,而体温调节是维持核心体温稳定的关键机制。目前,关于基于红外技术的热舒适度预测的研究大多仍以单模态输入为基础,且常常采用依赖特定使用者或随机划分训练集与测试集的方法,这可能会导致模型性能被高估。此外,多模态模型在动态热环境条件下对未知使用者的泛化能力也尚未得到充分研究。为弥补这些不足,本研究开发了一种面向实际应用的多模态框架,该框架将红外热图像与环境温度相结合,以实现与使用者无关的热舒适度预测。为了提高在实际建筑环境中的应用可行性,该框架仅以红外热图像和环境温度作为模型输入,从而减少了对基于接触式的可穿戴传感器以及复杂环境测量的依赖。

总之,本研究旨在开发一种基于多模态融合的动态热舒适度预测模型。该模型整合了表格数据与图像数据,其中表格数据包括环境温度,而图像数据则为红外图像。研究比较了在多模态模型中作为图像输入的三种不同类型的感兴趣区域的效果,这三种类型分别是面部图像、全身图像以及整帧图像。研究还选择了八种具有代表性的单模态机器学习模型作为基准,用于评估多模态模型的性能,这八种模型分别为随机森林(RF)、人工神经网络(ANN)、极端梯度提升算法(XGBoost)、轻量级梯度提升机(LightGBM)、ResNet-50、InceptionV3、DeiT-Tiny以及EfficientNet。所有模型均通过交叉验证的方式进行数据集划分训练。为提升模型的透明度与可解释性,研究还采用了Grad-CAM技术,用于分析模型在寒冷、中性及炎热环境条件下对预测图像的关注程度。此外,还研究了六种融合策略对多模态模型性能的影响。本研究为未来建筑中以人为中心的控制系统的开发和应用提供了坚实的理论基础。

方法论
本研究的工作流程包括三个主要阶段:数据收集、模型开发以及模型评估,如图1所示。在数据收集阶段,收集了三种类型的数据:以CSV和MP4格式存储的受试者全身红外图像、包括环境空气温度和回风温度在内的环境参数,以及包括TSV和TCV在内的主观热感受数据。在模型开发阶段,采用了两种数据划分策略。

环境参数与主观感受的变化
图B.1和图B.2分别展示了在渐进式和阶跃式温度变化条件下五个测量部位的皮肤温度变化情况。在温度渐变条件下,五个测量部位的皮肤温度变化模式大致相似,其中胸部的温度最高且最稳定,而脚踝的温度最低且波动最大。在温度阶跃变化条件下,皮肤温度则表现出不同的变化特征。

与以往研究的比较
将所提出的热感觉模型的性能与其他模型进行了比较(见表5)。大多数研究采用依赖受试者的方法,即通过随机分层抽样生成验证集,而仅少数研究采用独立于受试者的方法。本研究选择了性能最佳的模型。以往的研究表明,模型精度会受到多种因素的影响,包括输入变量和输出类别等。

结论
本研究基于ResNet-50和ANN架构,开发了适用于温度渐变和温度阶跃变化条件下的热舒适度预测模型。这些模型在跨受试者任务的五项关键评估指标上均取得了优异的性能。研究还考察了面部、全身和全帧三种图像输入方式,以评估目标区域选择对多模态模型性能的影响。结果表明,使用全帧图像作为输入能获得更好的效果。

CRediT作者贡献声明
李晓静:写作——审稿与编辑、写作——初稿撰写、可视化、方法论、形式分析、数据整理、概念构建。石金:验证、软件、研究。徐佳俊:验证、研究。张静思:验证、研究。高毅:验证。周翔:验证、监督。罗茂辉:写作——审稿与编辑、监督、资源协调、概念构建。

未引用的参考文献[44]

李晓静|石金|徐佳俊|张静思|高毅|周翔|罗茂辉
中国上海同济大学建筑与城市规划学院
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号