《Soil Dynamics and Earthquake Engineering》：An entropy-like computer vision method for post-earthquake damage assessment of nonstructural components within indoor scenes
编辑推荐：
基于熵概念的计算机视觉方法量化地震损坏及多目标跟踪识别非结构组件，经实验验证有效且适用于真实地震评估。
陈伟伟|王建泽|江永清|吴梦涛|戴高山|Reza Sharbati
四川大学土木工程系与教育部深地科学重点实验室，中国成都
摘要
地震侦察报告经常强调地震对建筑物内部结构和非结构构件（NSCs）的破坏情况，这对灾后功能恢复和经济损失评估至关重要。虽然大多数先前的研究主要集中在单个非结构构件的动态行为上，但实际的室内环境中包含多种类型的非结构构件，其在地震中的集体破坏模式仍难以量化。受物理学中熵概念的启发，本研究提出了一种基于计算机视觉的熵类方法，用于量化建筑物内部的非结构构件在地震后的破坏情况。该框架整合了两个互补的部分：具体来说，使用结构相似性指数（SSIM）通过比较地震前后的图像来衡量场景级别的混乱程度，从而快速检测室内环境中的显著变化。当观察到SSIM显著下降时，采用多目标分割跟踪模块来识别发生严重滑动或倾覆行为的非结构构件。为了评估该方法的适用性和有效性，在装有典型办公家具的缩比框架结构上进行了振动台测试。结果表明，所提出的方法能够有效量化特定室内场景的整体破坏情况，并可靠地识别其中各个非结构构件的破坏状态。室内场景中观察到的破坏严重程度与地板响应强度和场景复杂性之间存在强相关性，相关系数分别为0.78和0.98。进一步将该方法应用于真实的地震监控视频中，进一步证实了其在建筑物内部非结构构件灾后评估中的实用性。
引言
随着基于性能的地震工程（PBEE）的发展，人们对公共建筑中非结构构件（NSCs）因地震造成的经济和功能损失的关注日益增加。许多研究表明，NSCs占医院、学校和博物馆等设施总投资的80%-90%，远超过结构元素的更换成本[1]。未固定的NSCs，包括博物馆文物、医疗设备和高价值仪器，极易受到强烈地板振动的影响。它们的破坏会严重影响建筑物的功能，扰乱重要操作，并导致巨大的经济损失，同时还会对居住者构成安全隐患。历史上的地震事件一再证明了这种破坏的深远影响。例如，在2010年智利地震中，由于消防喷淋系统等NSCs的故障，多家医院部分或完全停止了运营[2]。2016年意大利中部地震中，许多医院经历了部分或全部功能丧失，严重影响了基本医疗服务的提供[3]。2021年福岛地震中，发电厂内的NSCs和关键基础设施遭受严重破坏，导致大规模停电，影响了数百万家庭数天[4]。最近，在2023年卡赫拉曼马拉什地震中，大多数工业建筑的生产系统遭受了严重破坏，主要是由于非结构故障导致的长时间运营中断[5]。
收集NSCs地震破坏的详细信息对于快速评估地震后的生命安全风险和经济损失至关重要。然而，这一过程常常受到交通中断、通行限制和不可预测的余震的阻碍。这些挑战凸显了迫切需要一种快速、可靠和自主的方法来评估NSCs的破坏情况。现有的灾后NSCs评估方法大致可分为两类：（1）专业视觉检查；（2）结构健康监测（SHM）。在过去的几十年中，灾后破坏评估主要依赖于受过培训的专业人员进行的视觉检查[6]。例如，2009年拉奎拉地震后的结构和非结构破坏评估[7]，2019年杜雷斯地震后NSCs破坏的快速评估[8]，以及2023年卡赫拉曼马拉什地震后医院的运行能力评估[9]。尽管视觉检查被广泛采用，但它仍然耗时、劳动密集、主观性强且容易出错[10]。此外，在余震期间，检查人员还会面临显著的安全风险。现代SHM技术通过集成系统从记录的响应数据中快速推断结构和非结构破坏，解决了传统视觉检查的局限性[11]。大多数现有研究通过传感器测量的地板响应间接推断NSCs的破坏情况。例如，Katsuhisa等人[12]研究了2018年大阪地震期间NSCs破坏与建筑物响应之间的关系。只有少数研究，如Sandoli等人[13]，试图直接捕捉NSCs（如玻璃隔墙）的完整时间历史响应。然而，SHM系统的可靠性在很大程度上取决于传感器的布置和覆盖范围，当仪器稀疏时可能导致评估不完整或有偏倚[14]。此外，加载条件可能导致传感器故障或数据丢失，尤其是在强烈的地震事件中[15]。
近年来，计算机视觉技术的快速发展使得使用图像和监控视频有效自动评估NSCs的破坏成为可能。例如，Wang等人[16]利用卷积神经网络（CNNs）检测大跨度结构中的地震引起的天花板破坏[17]。值得注意的是，Jiang等人[18]首次应用视频理解技术来估计受到地震激励的未固定NSCs的破坏状态。然而，这些研究主要关注单一类型的NSCs，这限制了它们的适用性。在真实的室内环境中，各种NSCs在地震事件中表现出不同的行为，因此基于单个构件的方法不切实际且效率低下。也有人尝试评估室内NSCs的集体性能。Edward等人[19]提出了一种基于图像的系统，通过比较地震前后的建筑物内部图像来评估地震破坏。类似地，Guzman等人[20]对未固定的建筑物内部物品进行了振动台测试，以探索它们的集体响应并基于观察结果推导出简化的地震脆弱性函数。然而，这两项研究都依赖于主观的破坏解释标准。目前仍缺乏一种定量、客观的指标来评估给定室内环境的地震破坏情况。这种局限性凸显了需要一个数据驱动的多组分评估框架。特别是，评估NSC系统的破坏状态需要分析其中各个NSCs的响应。因此，从视频序列中准确跟踪NSCs的动态行为是实现建筑物内部灾后系统级破坏评估的关键步骤。
在这项研究中，提出了一种基于熵类的方法，利用计算机视觉分析地震期间的室内监控视频来量化室内NSC系统的地震破坏。据我们所知，这项工作是首次尝试将场景级图像相似性分析与基于多目标分割的跟踪相结合，用于NSCs地震破坏评估。该框架遵循两阶段级联程序，将场景级图像相似性分析与多目标跟踪技术相结合。第一阶段使用SSIM检测室内环境中的显著变化，第二阶段识别和跟踪表现出位移或长宽比变化的独立NSCs，这些变化表明它们可能发生了滑动、摇晃或倾覆。本文的结构如下：第2节概述了所提出的熵类评估指标的概念基础，并详细介绍了所采用的计算机视觉技术。第3节描述了在装有典型办公家具的缩比结构模型上进行的振动台测试，以在受控地震激励下生成视频数据。第4节展示了该方法在评估单个NSC响应和整个NSC系统方面的应用，包括对影响场景级SSIM变化因素的调查。第5节证明了该方法在真实地震监控视频中的适用性。最后，第6节提供了本工作的讨论和结论。本研究的主要贡献如下：
(1)引入了一种基于SSIM的熵类场景级指标，用于定量描述地震事件期间室内环境中的整体破坏程度。
(2)开发了一种基于GSAM2的零样本多目标分割和跟踪框架，无需针对特定任务重新训练即可识别和跟踪各种未固定NSCs的地震响应。
(3)通过振动台实验验证了所提出的框架，并进一步使用真实地震监控视频进行了演示，突显了其在灾后NSCs室内破坏评估中的适用性。
部分摘录
用于量化场景级别混乱的熵类概念
在热力学中，熵通常用于描述系统内的混乱或随机程度[21]。这是一个基本且普遍的概念，涵盖了从逻辑和物理到生物学和工程学的多个学科。尽管起源于统计力学，但由于其能够描述系统状态的变化，“混乱量化”的一般概念已在各个科学领域得到广泛应用[[22]，[23]，[24]，[25]]。
振动台测试和原型场景
进行了一系列振动台实验，收集了包含典型建筑物内部在地震激励下的地震响应和可能相互作用的视频片段。振动台的平面尺寸为600毫米×600毫米，能够产生最大120毫米的水平位移（图9）。使用高性能个人计算机来调节激励波形。
一个缩比的4层原型结构模型，尺寸为300毫米×300毫米×900毫米
基于SSIM的建筑物内部破坏评估方法
图13展示了从振动台视频中提取的三个SSIM历史示例，对应于建筑物内部三种不同破坏程度的场景：完好无损（图13a）、部分损坏（图13b）和完全损坏（图13c）。在完好无损的情况下（图13a），SSIM历史在整个15秒的视频片段（例如9-24秒）中保持相对稳定，表明场景几乎没有受到干扰。SSIM值略有下降
基于真实地震事件监控视频的方法实现
在本节中，使用来自实际地震事件和大规模振动台测试的视频数据进一步评估了所开发的方法。考虑了1999年ChiChi地震[55]的两个代表性视频片段和实验室进行的全尺寸振动台测试案例[56]，应用结果分别显示在图24和图25中。这些示例包括各种未固定的NSCs（例如植物、桌子、椅子、橱柜、饮水机、沙发）
讨论与结论
本文提出了一种新颖的基于熵类的计算机视觉框架，用于量化建筑物内部独立非结构构件（NSCs）的地震破坏。据作者所知，这项工作是首次将受熵启发的场景混乱指标和零样本多目标跟踪转化为统一的室内NSCs地震评估方法。该方法遵循两阶段级联程序，整合了图像
CRediT作者贡献声明
陈伟伟：撰写——原始草稿，可视化，调查。王建泽：撰写——原始草稿，方法论，形式分析。江永清：可视化，验证。吴梦涛：撰写——审阅与编辑。戴高山：监督，资金获取。Reza Sharbati：撰写——审阅与编辑，概念化。
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。
致谢
本工作得到了国家自然科学基金（52408553 & U24A20177）、四川省国际合作基金（2025YFHZ0132）和四川省科学技术厅项目（2023ZHJY0012）的支持。
