《International Journal of Disaster Risk Reduction》：Advancing Qualitative Analysis in Professional Disaster and Risk Communication: A Comparative Study of an OpenAI ChatGPT 3.5 Model-Enabled Method for Processing Complex Public Discourse
编辑推荐：
本研究提出一种结合GenAI和人类参与的定性编码方法，用于分析疫情与气候变化相关的社交媒体讨论。通过对比传统编码和AI增强方法，发现两者在结构上相似但模式不同，人类验证显示91.7%的协议率。该方法提高了分析效率，但也指出人类专业知识在编码过程中的必要性。
玛格丽特·韦伯（Margaret Webb）| 哈曼·辛格（Harman Singh）| 雷切尔·因曼（Rachel Inman）| 斯韦塔·巴尼亚（Sweta Baniya）| 安德鲁·卡茨（Andrew Katz）
弗吉尼亚理工大学暨州立大学工程教育系，地址：美国弗吉尼亚州布莱克斯堡市Prices Fork Rd 635号，邮编20460
摘要
危机管理者和风险沟通者在处理相互关联的危机中的社交媒体讨论时面临日益增加的挑战。本文介绍了一种端到端的方法，利用OpenAI的ChatGPT-3.5生成式人工智能（GenAI）大型语言模型（LLM）和生成预训练Transformer（GPT）来生成定性代码手册。通过研究2020-2022年弗吉尼亚州关于COVID-19和气候变化的Twitter讨论案例，将人工参与式的GenAI方法与传统的定性编码方法进行了比较。
该方法建立在先前利用自然语言处理（NLP）增强定性分析的基础上，通过结合多次迭代编码过程和人工参与，生成定性代码手册。比较分析为评估GPT生成的代码手册的有效性提供了建议。人工验证显示，GPT生成的方法与人工编码方法之间存在高度一致性（91.7%的吻合度），揭示了两种分析方法在结构上的相似性和差异。
本研究的贡献在于方法论方面，它建立了一种进行和评估GPT辅助定性分析的方法，并阐明了计算增强型方法与传统定性编码方法之间的关系。研究结果通过提供将AI辅助技术整合到传统定性研究中的实证指导，推动了风险沟通方法的发展，保持了分析的严谨性。与以往基于NLP的灾害相关社交媒体讨论分析方法相比，这种迭代方法模仿了传统定性代码手册开发的某些方面，生成了能够捕捉复杂灾害讨论多层面特征的多层代码手册结构。虽然研究发现表明，GenAI可以通过自我评估和人工参与者的迭代改进，提高传统（仅依赖人工）代码手册生成的效率，但也指出了仍需要人工专业知识的编码环节。
章节摘录
背景
跨学科的研究人员越来越认识到，像大流行病、自然灾害和经济衰退这样的危机是相互关联的现象，它们会相互强化并加剧彼此的影响[1]、[2]、[3]、[4]、[5]、[6]、[7]。这种相互关联的危机所固有的社会复杂性要求专业的灾害和风险沟通者（如应急管理专家、公共卫生官员、企业传播总监、政府发言人等）
文献综述
本节讨论了关于COVID-19和气候变化在公共社交媒体讨论中相互关系的现有研究，以及自然语言处理（NLP）的局限性。它简要概述了NLP与相互关联危机之间的研究交叉点，并指出了当前定性分析方法中的不足之处。
研究目的与问题
本研究通过探讨将生成式人工智能技术整合到定性讨论分析中的理论和实践意义，推进了灾害和风险沟通研究方法的发展。具体而言，我们研究了生成预训练Transformer（GPT）支持的分析框架如何能够增强数字环境（即Twitter数据）中危机沟通的处理和解释能力。本文关注以下研究问题：
研究
项目背景与数据收集方法
为了提取本研究的数据集，我们反复试验了不同的关键词，直到达到饱和度和广泛的主题覆盖范围。我们选择了涉及COVID-19和气候变化传播的Twitter数据集，重点关注弗吉尼亚州的沿海地区（2020-2022年）。选择弗吉尼亚州是因为作者对该地区的社会政治和环境背景较为熟悉，同时也考虑到该地区容易受到健康和气候风险的叠加影响。
结果/讨论
研究问题：如何有效地在专业风险沟通研究中应用GPT支持的定性分析方法，以分析公共社交媒体讨论，并解决表示、新兴语言模式和错误信息等关键问题？
结果按照主要分析维度进行组织，展示了方法论的表现和对专业沟通研究的实际意义。首先，对
结论
本文对NLP支持的定性研究方法和灾害与风险沟通研究做出了多项贡献。使用GenAI和人工参与进行代码手册生成的端到端方法，代表了最早将生成式AI应用于灾害社交媒体讨论中的定性代码手册生成的实例之一。通过将GPT模型的总结能力与其他基于Transformer的NLP技术以及人工验证相结合，
局限性与未来工作
本研究揭示了一些方法论上的限制，这些限制值得考虑，并为未来的研究指明了方向。一个重要的时间限制源于GPT-3.5模型的训练数据截止日期为2021年9月，这影响了模型识别我们数据集中截至2022年12月的某些命名实体的能力。尽管该模型在整体上展示了强大的实体识别能力（准确率为90.27%），但这一时间限制仍对其产生了影响
作者贡献声明
玛格丽特·伊丽莎白·布里格登·韦伯（Margaret Elizabeth Brigden Webb）：撰写初稿、项目管理、方法论设计、正式分析。哈曼·辛格（Harman Singh）：撰写、审稿与编辑、验证、正式分析。雷切尔·因曼（Rachel Inman）：撰写、审稿与编辑、验证、正式分析。斯韦塔·巴尼亚（Sweta Baniya）：撰写、审稿与编辑、验证、监督、软件开发、资源获取、正式分析、概念构建。安德鲁·卡茨（Andrew Katz）：撰写、审稿与编辑、验证、监督、软件开发、资源管理、方法论设计
未引用的参考文献
[64]; [65]; [66]; [67]; [69]
关于写作过程中使用生成式AI和AI辅助技术的声明
在准备这项工作时，作者使用了生成式AI（Grammerly和OpenAI的ChatGPT）来辅助编辑文本，并协助对与相互关联的危机相关的社交媒体内容进行GPT支持的定性数据分析。AI辅助工作在人类监督下进行，结果通过人工比对和审核进行了验证。作者根据需要审查和编辑了所有由AI生成的内容，并对发表文章的内容负责。
利益冲突声明
? 作者声明以下可能被视为潜在利益冲突的财务利益和个人关系：安德鲁·卡茨（Andrew Katz）和斯韦塔·巴尼亚（Sweta Baniya）表示获得了弗吉尼亚理工大学暨州立大学海岸研究中心的财务支持。如果还有其他作者，他们声明自己没有已知的可能影响本文工作的财务利益或个人关系。
致谢
本材料基于美国国家科学基金会（Grant No. 2107008）和弗吉尼亚理工大学海岸研究中心的支持完成
