《Data & Knowledge Engineering》：Optimization and Transfer Learning for Event Detection During Disasters in Social Media
编辑推荐：
摘要在灾难发生后，社交媒体上会分享大量关键数据，包括受伤人员报告和基础设施损坏情况。然而，在灾难期间，从海量社交媒体帖子中检测有价值的信息被认为更具挑战性。因此，本研究设计了一种基于卷积神经网络的迁移学习+深度CNN_泰勒射箭算法（CNN-based TL+DCNN_TAA）
摘要
在灾难发生后，社交媒体上会分享大量关键数据，包括受伤人员报告和基础设施损坏情况。然而，在灾难期间，从海量社交媒体帖子中检测有价值的信息被认为更具挑战性。因此，本研究设计了一种基于卷积神经网络的迁移学习+深度CNN_泰勒射箭算法（CNN-based TL+DCNN_TAA），用于利用社交媒体上的图像和文本进行事件检测。首先，基于输入图像使用深度卷积神经网络（DCNN）进行事件检测，该网络由基于泰勒的射箭算法（TAA）进行调优。其中，TAA是通过融合泰勒级数和射箭算法（AA）而构建的。同时，对输入文本数据进行分词处理，然后执行特征提取。接下来，通过基于卷积神经网络的迁移学习的随机多模态深度学习（RMDL）执行情感分类以进行事件检测。或者，从输入文本中进行关键词提取。然后，将关键词视为节点生成关键词图，并执行关键词图聚类。最后，执行事件检测，并利用多数投票法来组合所有输出。此外，CNN-based TL+DCNN_TAA的实验结果表明，最大精确率、召回率、F1分数和准确率分别为90.754%、93.766%、92.235%和91.787%。
引言
社交媒体现已成为灾难时期信息共享的重要渠道[1]。人们越来越愿意在Facebook、Instagram和Twitter等社交媒体平台上分享他们的生活和个人经历，以便交换可获取的信息并触达更多观众[2]。此外，这些平台在分发地震、洪水和飓风等灾难事件期间的关键信息方面发挥着至关重要的作用[3,4]。从受影响者那里获取实时反馈是社交媒体与传统新闻来源之间的主要差异之一[5]。除了物理传感器外，还有许多其他数据源在灾难期间产生大量不同模态的数据，包括文本、音频、视频和图像[6]。高效处理这些数据对于政府和非政府组织做出明智决策并协调应急响应行动至关重要[2,7]。
自然而然地，自动化技术，如机器学习（ML）和自然语言处理（NLP），可以在这种情况下提供帮助[8]。NLP的目标是使计算机能够理解和运用人类语言。在过去五年中，深度学习（DL）以及大量标注和非标注数据推动了NLP在机器翻译（MT）、问答和机器阅读理解等领域的快速发展[9,10]。在DL结构中，N-way分类、多模态、动态和静态被集成在隐藏层中，并采用不同的网络架构变体[11]。类似地，基于DL的图像分析技术可以分类视觉内容以识别损坏、受影响区域或紧急情况[12]。尽管DL在处理单一数据模态方面取得了巨大成功，但很少有研究关注多模态DL系统。造成这一问题的主要原因是缺乏可免费获取的具有多种数据模态（如文本、音频、视频等）的数据集[6]。
在灾难期间，社交媒体产生大量实时多模态数据，包括文本、图像和视频，这些数据可以为伤亡情况、基础设施损坏和紧急需求提供关键见解。然而，由于数据的高量、高速和多样性，手动监控和提取相关信息是不切实际的。现有的事件检测方法存在以下局限性：
- •
许多方法仅处理文本或图像，未能利用多种模态的互补信息。
- •
某些模型计算量大，无法高效处理高速社交媒体数据流。
- •
社交媒体帖子通常包含垃圾信息、不相关内容或错误信息，这降低了检测的可靠性和准确性。
- •
许多现有的深度学习模型未能有效优化网络参数以改善收敛性和检测性能。
这些缺陷造成了灾难管理中准确、快速且多模态事件检测系统的空白。为解决这些挑战，本研究提出了CNN-based TL+DCNN_TAA，一个混合框架，该框架集成了迁移学习、深度卷积神经网络和基于泰勒的射箭算法，从而能够从社交媒体数据中实现鲁棒、实时且多模态的灾难事件检测。
本研究的贡献如下：
- •
提出CNN-based TL+DCNN_TAA用于事件检测： 新提出的CNN-based TL+DCNN_TAA用于事件检测。其中，基于CNN的迁移学习（TL）利用文本数据作为输入进行事件检测，而DCNN+TAA利用输入图像进行事件检测。
- •
在此，DCNN由TAA进行调优，其中TAA通过泰勒级数和AA的集成来构建。此外，通过利用RMDL技术的超参数来初始化CNN的超参数来实现迁移学习（TL）。
论文其余部分安排如下：第2节为现有方法的文献综述。第3节描述了用于事件检测的CNN-based TL+DCNN_TAA。第4节阐述了CNN-based TL+DCNN_TAA的实验结果，第5节展示了论文的结论。
章节摘要
传统事件检测方法
早期的灾难事件检测方法主要依赖于传统机器学习和统计技术，如支持向量机（SVM）、朴素贝叶斯（NB）、决策树（DT）和随机森林（RF），这些方法利用手工构建的特征进行分类，包括词袋模型（BoW）、词频-逆文档频率（TF-IDF）和n-gram。这些方法在识别灾难相关的文本内容方面效果良好，且计算需求相对较低。
用于事件检测的所提方法CNN-based TL+DCNN_TAA
本研究引入了一种利用社交媒体文本和图像进行事件检测的深度学习（DL）方法。首先，利用社交媒体上的输入图像进行事件检测，该检测通过DCNN[17]结合TAA来执行。其中，TAA由泰勒级数[18]和AA[19]的组合构建而成。同时，利用BERT分词[20]对数据库中的输入文本数据进行分词处理，将数据转换为令牌。之后，执行特征提取，包括各种特征，
结果与讨论
本节使用F1分数、准确率、精确率和召回率来描述所提CNN-based TL+DCNN_TAA的有效性。还讨论了数据集描述、算法评估、性能分析和比较评估。
结论
社交媒体在灾难期间提供快速或实时的灾难感知信息，政府管理者利用这些信息来有效管理灾难响应工作。因此，准确提取社交媒体信息进行事件检测非常重要。因此，本研究设计了一种名为CNN-based TL+DCNN_TAA的新方法用于事件检测。首先，基于输入图像执行事件检测，该检测通过利用由基于泰勒的……进行调优的DCNN来实现。
作者声明
Julanta Leela Rachel J：撰写原稿
Bhuvaneswari A：指导
CRediT作者贡献声明
Julanta Leela Rachel J：撰写——原稿。Bhuvaneswari A：指导。
JULANTA LEELA RACHEL J于2013年在印度泰米尔纳德邦安娜大学获得计算机科学与工程学士学位，2017年在印度泰米尔纳德邦马德拉斯理工学院获得计算机技术硕士学位。她自2021年起正在印度泰米尔纳德邦维洛雷科技大学攻读博士学位。她还拥有3.6年的助理教授工作经验。她是五篇IEEE会议论文、五篇期刊论文和两篇国家级……的作者
Julanta Leela Rachel J|Bhuvaneswari A
研究学者，计算机科学与工程学院，维洛雷科技大学，VIT Chennai校区，Vandalur-Kelambakkam公路，钦奈，600127
