《ISPRS International Journal of Geo-Information》:Urban Flood-Depth Estimation from Crowdsourced Image–Text Data Using Reference-Object Reasoning and Conditional Fusion
编辑推荐:
摘要专业翻译
城市暴雨内涝(urban pluvial flooding)是一种快速演变的灾害,需要及时且细粒度的水深信息以支持应急响应和影响评估。然而,在短历时洪涝事件中,由于传统监测系统覆盖范围有限且空间细节不足,街道尺度的水深观测往往难以获取。为缓解这一
摘要专业翻译
城市暴雨内涝(urban pluvial flooding)是一种快速演变的灾害,需要及时且细粒度的水深信息以支持应急响应和影响评估。然而,在短历时洪涝事件中,由于传统监测系统覆盖范围有限且空间细节不足,街道尺度的水深观测往往难以获取。为缓解这一问题,本研究提出了一种以图像为主导(image-led)的框架,用于从众包图文数据中估算城市街道尺度洪涝水深。该研究方法整合了基于参照物的视觉证据构建(reference-object-based visual evidence construction)、文本水深提取(textual depth extraction)以及条件图文融合(conditional image–text fusion),以从众包图文记录中估算水深。具体而言,基于图像的水深证据通过识别参照物(reference objects)、判定被淹没部位(submerged parts),并通过知识映射(knowledge mapping)建立物体—水深关系来构建。文本信息进一步通过基于规则的提取(rule-based extraction)和语义校验(semantic verification)进行分析,以识别定量水深线索,包括显式数值、区间和相对水位描述。考虑到图像与文本观测之间可能存在的不一致性,研究设计了一种条件融合策略(conditional fusion strategy),仅在可量化性(quantifiability)、方向性(directional)和图文差异(image–text discrepancy)条件均满足时纳入文本信息。实验表明,所提出的方法能够有效地从众包多模态数据中提取定量洪涝水深信息,并提高异构灾害观测数据的利用率。所得水深估算结果旨在作为灾后态势评估的辅助证据,而非替代现场水位测量。
论文解读
一、研究背景与问题
近年来,全球气候变化加剧了极端天气事件的频率和强度,城市暴雨内涝已成为城市韧性和应急管理面临的重大挑战。城市内涝具有局部性强、演变迅速的特点,可严重影响交通系统、基础设施运行和应急响应活动。在水淹相关的各类信息中,水深是衡量淹没严重程度的直接指标,支持洪涝影响评估、道路可达性分析和应急决策。然而,在短历时洪涝事件中获取细粒度的街道尺度水深观测仍然十分困难。传统监测系统(如水文站和传感器网络)的空间覆盖通常有限,难以捕捉快速变化的局部淹没状况。
为弥补这一不足,研究人员探索了替代性数据源,尤其是基于图像的方法。现有基于图像的方法主要依赖监督学习、几何测量或参照物推理,但在复杂的灾后环境中,观测条件变化、场景特定信息需求以及视觉洪涝证据解读的不确定性,使其应用仍面临挑战。社交媒体的快速发展为灾害监测提供了新的机遇,众包数据(尤其是受灾个体分享的图文记录)能够提供及时且接近地面的灾害观测。与传统的监测系统相比,众包记录可以捕捉固定观测网络难以获得的详细局部条件。然而,从众包多模态数据中提取定量水深信息仍面临挑战:视觉观测通常需要识别合适的参照物并建立可见淹没部位与水深之间的关系;文本描述往往包含隐含表达、多个数值、时间变化和空间模糊性,使得直接提取水深较为困难。此外,多模态信息可能存在质量差异和潜在冲突,图像和文本不应简单地被视为等价观测。
二、研究内容与主要结论
针对上述挑战,本研究开发了一种以图像为主导的框架,用于从众包图文记录中估算城市街道尺度洪涝水深。该框架首先将视觉观测转化为基于参照物的结构化水深证据,然后将文本水深信息作为条件辅助证据。图像模块识别参照物和淹没部位,基于显式知识关系分配水深等级;文本模块结合基于规则的提取与语义审查,评估文本水深线索是否可量化;融合模块仅在预定义的方向性和图文差异条件满足时纳入文本信息。研究方法论侧重于控制跨模态不一致性,而非假设多模态融合必然改善水深估算。
实验结果表明,该框架能够从众包图文记录中构建结构化的水深证据,并降低直接视觉语言模型(VLM)水深生成的波动性。在图像水深估算方面,RPD-VLM(基于参照物的深度视觉语言框架,Reference-object-based Prompted Depth VLM)在统一测试集上优于直接VLM推理和VLM+思维链(CoT)基线,但低于全监督模型ViT-B/16和ResNet-50。在文本水深提取方面,RPD-VLM-T(RPD-VLM文本模块)将成功提取数从143个增加到221个,提取覆盖率从59.83%提升至92.47%,表明语义解析能够恢复规则无法处理的复杂表达。在图文融合方面,无条件文本参与与较高误差相关,而RPD-VLM-Fusion(RPD-VLM融合模块)在图像主导设计下限制了文本参与范围,相对于仅图像方案降低了平均绝对误差(MAE)和均方根误差(RMSE)。条件文本参与在特定约束下提供有限的辅助校正,但不应被解读为多模态融合带来的普遍精度提升。
三、主要关键技术方法
研究人员构建了以微博为主要数据源的众包多模态数据集,收集时间为2025年7月23日至8月1日,以北京市为主要研究区域,通过关键词检索获得超过17,558条微博帖子,经两阶段筛选后保留1283幅图像用于图像实验,其中193幅作为固定测试集;文本实验保留239条可标注水深信息的清洗后文本样本。研究方法主要包括三个核心模块:图像模块采用两阶段视觉语言模型(VLM)推理流程,第一阶段识别主要淹没区域和候选参照物,第二阶段结合检索增强生成(RAG)知识上下文评估物体—水面关系,并通过显式参照物—部位—水深映射生成图像水深证据;文本模块结合基于规则的提取与语义审查,识别显式数值、区间表达和相对部位描述,评估文本可量化性;融合模块设计条件融合策略,仅在文本可量化、满足方向性约束(文本水深小于图像水深)且图文差异不超过60厘米时允许文本参与,文本权重随图文差异从最大值0.5连续衰减至零。
四、研究结果
4.1 文本水深证据提取
在239个输入样本中,仅规则方法对143个样本产生有效确定性水深输出,RPD-VLM-T对221个样本产生有效输出,提取覆盖率从59.83%提升至92.47%。在两种方法均成功提取的143个样本上,仅规则方法的MAE和RMSE更低,Acc@10和Acc@20更高。RPD-VLM-T扩展了文本水深证据的覆盖率,但并未在共同子集上提升规则候选的数值精度,部分语义审查引入了额外误差。
4.2 文本参与策略与融合性能比较
在202个有效融合样本上,仅文本方案的误差高于仅图像方案,直接平均和固定权重融合均未优于仅图像结果。RPD-VLM-Fusion相对于仅图像方案降低了MAE和RMSE,Acc@20变化不大。无条件文本参与与较高误差相关,社交媒体验证文本水深不应直接视为当前图像局部水深的等价观测。
4.3 方向性约束与图文差异控制
事后诊断分析显示,当文本水深小于图像水深时,文本预测更频繁地接近图像参考水深。在满足方向性约束的样本中,图文差异进一步决定文本参与程度,误差降低主要发生在差异较小时。当方向性约束不满足或差异超过60厘米时,结果回退至仅图像方案。
4.4 图文融合案例分析
三个代表性案例分别对应最大权重参与(差异不超过27厘米)、连续衰减参与(差异在27至60厘米之间)和基于差异的回退(差异超过60厘米)。案例表明,文本仅在差异较小且满足方向性条件时提供候选校正,其影响随差异增大而减小,超出拒绝边界后保留图像水深输出。
4.5 图像水深量化总体结果
在185个共同有效子集上,ViT-B/16取得最低误差,ResNet-50表现稳定,RPD-VLM误差高于监督模型但明显优于仅VLM和VLM+CoT。配对自助法(bootstrap)检验表明,结构化参照物推理降低了直接水深生成的波动性。监督模型预测点分布更集中,直接VLM推理更分散,RPD-VLM介于两者之间。
4.6 少样本条件下的模型性能趋势
在固定划分下,监督模型随训练比例增加总体改善,表明端到端回归对任务特定标注量敏感。RPD-VLM不随训练比例变化,作为低任务标注依赖的固定参考。
4.7 不同水深区间的误差分布
在0–20厘米浅水区间,各方法误差相对较低,图像线索较易解读。20–50厘米区间各方法误差均升高,RPD-VLM增幅较大,可能与膝部、车轮中部等过渡淹没位置有关。50–100厘米区间误差进一步增大,可见参照物减少、关键部位遮挡、水面边界不清是主要原因。
4.8 不同场景类型的误差异质性
道路场景误差分布相对稳定,常见车辆轮胎、行人下肢和路缘石等参照物。停车场场景误差较高,可能与车辆数量多、遮挡复杂、同一图像中存在多个不同水深淹没区有关。住宅区、桥梁或涵洞及低洼场景误差来源更为多样。
4.9 消融与敏感性分析
在共同有效子集上,移除任一模块均与MAE和RMSE升高相关,其中移除第一阶段候选参照物约束或知识映射的增幅更大。±10%比例扰动场景下,代表性水深等级最大偏差从1厘米等级处的0.1厘米增至170厘米等级处的17.0厘米;185个共同有效样本上最终估算的平均绝对变化为3.2厘米,MAE范围为13.7至17.4厘米,RMSE范围为19.4至25.2厘米。
4.10 代表性案例分析
案例(a)中清晰可见的人体踝部使RPD-VLM沿参照物部位和水深等级路径形成中间解读;案例(b)展示了移除第一阶段检测约束后可能出现的物体选择偏差和高估;案例(c)展示了多车辆、遮挡和水面边界不清的困难场景。
五、讨论与结论
讨论部分指出,该方法并非适用于所有城市地表水图像,而是针对包含可解读参照物及其与水面清晰关系的众包洪涝图文记录。图像模块在道路、街道和停车场入口等包含行人、车辆、路缘石或护栏等常见参照物的场景中适用性更强;文本模块的适用条件更为严格,社交媒体验证文本可能描述历史水位、邻近位置、整体事件严重程度或主观印象,不能直接等同于当前图像所示局部水深。误差来源包括参照物识别与淹没部位判定的不确定性、参照物尺寸与部位—水深映射的变异性、众包图像的拍摄条件与空间结构复杂性,以及文本的时空不一致性。人工标注参考水深本身也存在不确定性,报告误差更适合在共同人工参考基准下比较方法,而非表示相对于现场测量的绝对物理误差。研究结论表明,该框架能够从众包图文记录中构建结构化水深证据,降低直接VLM水深生成的波动性。条件文本参与在特定约束下提供有限的辅助校正,但不应被解读为多模态融合的普遍精度提升。由于参考水深是基于场景的人工估计而非现场测量,所得水深更适合作为灾后态势评估和后续人工核验的辅助证据。未来研究将利用现场测量、传感器观测、跨城市洪涝事件和更详细的几何约束进一步评估该框架。