灾害治理中多模态情感传播的社会技术系统方法——来自2021年郑州洪水的启示

《Computers》：A Sociotechnical System Approach to Multimodal Emotion Propagation in Disaster Governance: Lessons from the 2021 Zhengzhou Flood

　　

短视频平台在自然灾害期间提供了公众情感的多模态记录，为面向危机的社交媒体分析带来了新机遇。研究人员以2021年郑州洪水为单事件案例研究，构建了DMAC数据集——据研究人员所知，这是首批聚焦于灾害事件的中文真实世界多模态短视频数据集之一。该数据集包含284个视频和144,174条评论。研究区分了视频嵌入情感（E_video）、所收集评论中表达的情感（E_primary）以及一个透明构建的复合情感指数（E_composite）。研究人员采用并微调了现有的多模态端到端稀疏模型（Multimodal End-to-End Sparse Model，MESM），并实现了一个面向治理的概念验证界面，以供分析师及时审阅。在这一具有挑战性的六分类设置下，模型对E_video、E_primary和E_composite的平均准确率分别为57.18%、63.42%和60.34%；多模态消融实验表明，文本、音频和视觉信号具有互补价值。跨层级分布呈现出该案例中负面情感的不对称式放大集中特征。这些发现为可比的中文短视频灾害情境提供了案例衍生的见解和方法论参考，而该系统旨在支持而非取代人类的解释与决策。

研究背景与问题：自然灾害对公共安全和人类生活构成外部扰动，应急管理者需要主动监测数字传播中的负面情绪模式，适应性治理因此成为复杂危机中维持系统稳定和增强社会韧性的战略重点。社交媒体已成为危机信息和情感表达流通的主要渠道，并可能影响应急响应。然而，现有针对暴雨洪涝灾害的情感研究大多基于微博、Twitter等文本数据，忽视了短视频平台中图像、音频和文本交织的多模态信息。尽管短视频比文本传递更强的情感线索，但面向灾害场景的多模态情感计算研究仍然非常有限。同时，现有公开视频数据集多来自YouTube、Twitter或受控实验室，缺少中文真实场景资源，难以捕捉中国公众在灾害中的细腻情感表达。研究人员以2021年郑州洪水为案例事件——该次降雨打破历史纪录，约1478.6万人受灾，直接经济损失1200.06亿元——构建了DMAC数据集，以填补上述系统缺口。

研究人员开展了什么研究：研究构建了包含284个视频和144,174条评论的DMAC数据集，并提出三层情感框架，区分视频嵌入情感（E_video）、所收集评论中表达的情感（E_primary）以及由两者等权重合成的复合情感指数（E_composite）。研究采用并微调多模态端到端稀疏模型（MESM）进行六分类情感识别，同时实现了面向治理的概念验证界面。模型平均准确率分别为57.18%、63.42%和60.34%，模态消融显示文本、音频和视觉信号具有互补价值。跨量分析发现负面情感呈现不对称放大、扩散和聚集并存的特征。其重要意义在于为中文短视频灾害情境提供了方法论和实证参考，系统设计用于支持而非取代人类解释与决策。

关键技术方法：样本队列来源于抖音（中国版TikTok