Recov-Vision：关联街景影像与视觉-语言模型用于灾后恢复评估

《International Journal of Disaster Risk Reduction》：Recov-Vision: Linking street view imagery and vision-language models for post-disaster recovery

　　

灾后建筑级占用状态对于分诊、检查、公用事业复电及公平资源分配至关重要。高空正射影像可提供快速覆盖，但常遗漏指示建筑是否表观在用的立面与出入口线索。街景影像可捕获此类细节，但稀疏且难以与地块对齐。研究人员提出Recov-Vision，一种将全景视频关联至地块、将视角校正为立面、并提取可解释属性（如入口阻塞、临时覆盖物、局部碎屑）的街道级框架。这些属性驱动同一证据下的两种备选决策策略：透明单阶段计数规则，以及含独立纯文本大语言模型(LLM)决策阶段的双阶段设计。在两次飓风Helene后调查中评估，两策略表现相近；双阶段策略召回率略高，且复现地面真值净恢复（+14个地块，定义为20个返回占用减去6个退化）。非显而易见发现是残差误差呈空间聚集（精度面Moran's I=0.06，p=0.03），故框架支持定向社区核查而非均匀审查。更广泛地，将视觉证据提取与策略级推理解耦，可产生机构可调控辖区特异性保守度而无需重训视觉组件的可审计评估。

研究背景方面，灾后快速获取建筑级占用状态是分诊、公用事业恢复、检查、临时避难规划与公平资源分配的时间关键输入。高空（天顶）影像到达快、覆盖广，但其以屋顶为主导的视角常忽略指示占用的关键立面与出入口条件，如开门或堵门、临时覆盖、局部碎屑与临时修补；即便先进的高空灾后方法在表观占用依赖立面而非屋顶损伤时仍受限。街道视觉调查与上门评估提供缺失信号，但受路网与采集日程约束，且与地块清单对齐噪声大，导致分析师面临缓慢、手动、难复现的跨视图核对。近期视觉-语言模型(VLM)以开放词汇识别、指令跟随与跨模态推理，可将异质视觉证据转为操作决策，但既有工作多止步于描述或分类，缺乏以占用推断为核心的复现街道级流水线，且未将小线索暴露为可核查中间属性。机构亟需可扩展、可审计评估以辩护资源分配，故本研究开展Recov-Vision框架。

研究人员开展的研究为：以全景成像、自动立面校正与视觉-语言推理结合，产生地块级占用标签与恢复轨迹。数据来自北卡罗来纳州Buncombe县Swannanoa与Black Mountain两社区，沿Swannanoa河，受2024年9月飓风Helene洪水影响；田野三次出行（2024年12月侦察、2025年3月与6月两次战役）用GoPro Max全景相机架于车顶约2米高杆，5.6K@30fps录影配同步GPS日志。样本队列即上述两社区郊区与半乡村住宅地块。核心方法含四块：其一，全景视频与GPS帧级匹配至参考地块（EPSG:5070缓冲25米，R树索引取最近），用FFmpeg抽帧；其二，由GPS前后窗估车辆航向，算相机至建筑方位得yaw=θ₂?θ₁+θ_calib（?90°偏移），以v360滤镜把等距柱状全景去弯为水平视场90°、16:9、宽1920像素的立面校正图；其三，双VLM提示策略提取每立面9个可检属性（入口阻塞、临时覆盖、局部碎屑等），再分别走单阶段计数规则与双阶段（纯文本LLM决策）占用判定；其四，重复战役间做Not Occupied?Occupied转移，分Recovered/Deteriorated/Stable，用全局Moran's I诊断误差聚集。

研究结果部分，摘要已给出双策略可比、双阶段召回略高且复现净恢复+14地块（20返占?6退化），残差Moran's I=0.06(p=0.03)聚集。第一章指明目标为可复现流水线，强调可检属性与保守推理；第二章述相关工作，高空影像受云冠影混淆、缺大数据集，UAV/斜空补细节但仍缺角度，街景虽有立面细节但多端到端不透明，VLM可行但缺灾后时序恢复耦合。第三章方法如上。第四章（文中述及）报分类性能、恢复指标与空间误差模式：双阶段策略复现地面真值净恢复，单阶段略高估；误差地理聚集支持空间定向质控而非随机审。第五章讨论部署含义与限制，如隐私上原图传OpenAI API（不训练）后模糊，开放权重实验在模糊集，自托管可免外传。第六章结论翻译如下：Recov-Vision证明街道级全景+VLM属性解耦可产可审计地块占用与恢复轨迹；视觉提取与策略推理分离使机构可调保守度不重训视觉；双决策策略统计差异置信区间含零故样本不足定论；残差空间聚集（Moran's I=0.06,p=0.03）意味按需邻里核查。该文发于《International Journal of Disaster Risk Reduction》。

关键技术方法概括（不超250字）：研究人员采用GoPro Max采5.6K全景视频配GPS；R树空间索引做帧—地块匹配（EPSG:5070，25米缓冲）；由GPS前后±15帧估航向，按θ₂?θ₁?90°得yaw，FFmpeg v360将等距柱状图去弯为90°HFOV、1920×1080立面图；对每立面用VLM提9个可检属性，驱动单阶段计数与双阶段（文本LLM）两占用策略；三次战役（2024-12侦察、2025-03、2025-06）北卡Swannanoa与Black Mountain住宅地块队列；转移分Recovered/Deteriorated/Stable，全局Moran's I验误差聚集，配对bootstrap与McNemar验策略差。

讨论部分总结：作者指出解耦视觉证据与政策推理乃可审计核心，机构可按辖区保守度调LLM提示而不动VLM；隐私局限下应前置模糊或自托管开放权重；街景稀疏与路网约束使覆盖非全域，故误差聚集成邻级核查依据而非均匀审。结论重申：街道级SVI+VLM属性化可替补高空视角缺失的立面占用信号；两策略同证据下可比，双阶段略优但非显著；Moran's I=0.06(p=0.03)证残差空间自相关；框架可复现、代码数据待刊发释出。