面向具身决策支持的灾害图像扩散视觉情感引导时空图建模

《Frontiers in Neurorobotics》：Visual-affect-guided spatiotemporal graph modeling of disaster-image diffusion for embodied decision support

　　

引言：灾害响应机器人及其他具身智能体可将社交媒体图像作为情境证据，但现有方法多在图像层面分析情感，或在建模扩散时未隔离情感特异性信息。方法：研究人员将灾害图像编码为128维连续视觉情感嵌入，表征视觉强度、恐惧、悲伤与负价。该嵌入初始化时间感知图神经网络节点状态，边受观测交互链接、时间先验与空间可达性约束。多任务头预测传播规模、传播速度与空间排序一致性，参数分解模块分离情感关联贡献与结构关联残差。实验使用4450个重建的以图像为中心的CrisisMMD样本，采用常规70/15/15划分、五种随机种子、匹配基线及消融测试。结果：完整模型AUC达0.842±0.011，按当前任务定义RMSE为0.091±0.007，Kendall tau为0.730±0.018。相较匹配消融，视觉情感使AUC提升0.041，时间感知递归使RMSE降低33.6%，空间约束使Kendall tau提升0.089。RMSE单位须在传播速度与时长定义厘清后标准化。讨论：视觉情感为灾害图像扩散建模提供可解释互补信号。研究未确立因果效应、跨平台泛化性、实时设备性能或闭环机器人收益；该框架应视为面向具身决策支持的上游社会感知先验。

研究背景与动机

突发灾害后，社交媒体图像可提供早期、地理分布广泛的损毁与风险感知证据。对于灾害响应机器人、移动感知平台及人机团队，这些帖子不构成直接控制指令，而是补充机载感知的外部社会感知流。现有研究存在三点局限：其一是图像级情感分类器常将情感压缩为离散标签，丢失强度、恐惧、悲伤与负价的梯度变化；其二是扩散模型多将视觉内容视为通用特征，忽视时间、地理与网络结构的联合作用；其三是多数系统研究缺乏同协议基线层级、模块级证据与明确部署边界。因此，难以判断视觉情感是否超越场景语义与传播拓扑提供增量信息。该研究旨在将快速变化的图像流转化为稳定时空状态估计，同时厘清预测分析与物理机器人控制的边界，相关成果发表于《Frontiers in Neurorobotics》。

主要关键技术方法

研究人员采用CrisisMMD多模态灾害数据集，筛选后得到4450个以图像为中心的级联样本，覆盖地震、洪水、飓风、火灾与滑坡五类事件。图像经224×224预处理，由视觉骨干网络提取高层表示，再通过两层投影头映射为128维连续视觉情感嵌入，监督信号为归一化视觉强度、恐惧、悲伤与负价。级联重建仅保留显式交互或满足事件上下文、时间先验与空间可达性的保守候选边，边权由时间衰减与空间欧氏距离联合决定。动态图以情感嵌入初始化节点状态，送入时间感知图神经网络(TGNN)，邻域聚合引入时间衰减门控，递归更新隐藏状态并窗口池化为级联表示。多任务头共享该表示输出传播规模分类、传播速度回归与空间排序一致性，参数分解正则项将读出门限权重拆解为情感关联与结构关联分量。训练采用70/15/15分层划分、Adam优化、五种子复现。

研究结果

3.1 总体架构：框架将视觉情感表示、重建时空传播结构与机制层分析联结，定位为感知与态势评估层，不宣称完整机器人规划架构。

3.2 灾害感知视觉情感表示：两阶段设计先提通用视觉语义再投影为连续情感嵌入，使嵌入空间按情感强度连续排布而非按灾害类别聚团，便于后续图模型区分同场景不同情感剖面。

3.3 时空级联重建：边权定义为w_ij=exp(?α|t_j?t_i|)exp(?β‖s_j?s_i‖₂)，时间间隙与地理跳跃越大权重越小；孤立记录保留为单节点级联，不强制拼入未验证链。

3.4 时间感知图神经网络：节点状态递归更新引入时间衰减门γ_i^t=exp(?λΔt_i^t)，使历史活跃度按节奏衰减；池化表示z供多任务与机制分解共用。

3.5 多任务读出与机制分解：线性读出门W_p受Frobenius正则向情感投影W_e贴近，优化后分解为W_p=W_s+W_d，分别解释结构关联与情感关联，稳定性损失约束跨窗口情感机制参数漂移。

3.6 训练与推理流程：表示学习、图重建、模型选择与最终评估分离，测试集锁定；推理支持新记录插入活动窗口增量编码，但未测端到端时延。

实验结果显示，完整模型AUC 0.842±0.011、RM随任务定义RMSE 0.091±0.007、Kendall tau 0.730±0.018。去除视觉情感AUC降至0.801，去时间建模RMSE升至0.137，去空间约束Kendall tau降至0.641。基线层级中IC-FR(AUC 0.629–0.658)<ST-GCN(0.687–0.719)<Visual-TGNN(0.708–0.742)<Sentiment-TGNN(0.748–0.781)。传播速度回归在高情感强度组RMSE 0.064 h、R² 0.887，低强度组RMSE 0.118 h、R² 0.652。空间排序在中段传播期中位tau 0.63，跨区扩散仍保0.51；SHAP显示视觉强度与恐惧在爆发期敏感度高，悲伤在扩散后期上升，负价较平稳。

讨论与结论翻译

讨论指出视觉情感为灾害图像扩散建模提供可解释互补信号。研究未发现情感对分享行为的因果效应，未验证跨平台泛化、实时设备性能与闭环机器人收益；该框架应作为具身决策支持的上游社会感知先验。结论重申：在控制通用视觉语义与图结构后，情感特异性连续嵌入仍对传播规模、速度与空间排序预测提供增量；级联重建为分析近似而非真实扩散树；参数分解为机制层摘要而非唯一可辨识因果分解。框架价值在于将图像流转为稳定时空状态估计，辅助风险优先级与人机沟通，不替代机载感知、定位、规划与执行。