用于健康提及分类的基于关键词注意力的多模态多教师知识蒸馏

《Pattern Recognition》：Multimodal multi-teacher knowledge distillation with Keyword Attention for Health Mention Classification

　　

•一种专为 Reddit 数据上的 HMC 任务定制的新型 MTKD 框架。
•使用在预训练领域上有所区分的教师模型。
•关键词注意力机制，用于关注显著的健康相关术语。
•一个多模态线索教师模型，从 MELD 转录、音频和视觉线索中训练得出。
•F1-宏观值为 0.8203，更值得注意的是，TN_FM 得分为 0.9215。

引言
社交媒体平台的普及改变了个人交流和分享个人经验的方式，包括与健康相关的问题 [1]。海量的用户生成内容，尤其是在像 Reddit 这样缺乏用户身份且帖子格式较长的论坛上，在公共卫生监测方面具有一定的潜在价值 [2]。这包括追踪传染病、监测心理健康以及检测非法药物使用 [3]。除了文本内容外，现实世界设置中的人类交流本质上是多模态的，其中语调、面部表情和对话语境等线索在解释含义方面发挥着关键作用 [4]。这对于区分字面和比喻表达尤为重要，因为这类表达在纯文本环境中往往是模棱两可的。利用这些数据的中心是健康提及分类（HMC）任务 [5]。HMC 试图分类一段文本是否为个人健康提及——即作者或其认识的人描述与健康问题或症状相关经历的文本 [6]。因此，社交媒体 HMC 对于确保从社交媒体中准确可靠地收集健康相关数据至关重要 [7]。

然而，使 HMC 更加复杂的一个主要问题是，用户通常以不同于指代自身健康问题的方式使用疾病或症状关键词 [8]。比喻语言（例如，“这个项目让我偏头痛”）、夸张，或者是谈论新闻、建议或一般信息都很常见 [9]。未能考虑这些非字面或非个人的用途，而是将所有关键词实例视为实际的健康相关提及，可能会给使用该数据的公共卫生研究引入实质性偏差 [10]。Reddit 虽然由于帖子较长提供了更多上下文，但也有其自身的一系列挑战，包括多样的社区和沟通模式 [11]。这种歧义因社交媒体文本中缺乏非文本线索而被进一步放大，在自然对话环境中，这些线索本可以通过韵律、面部表情和互动动态来帮助消除意图歧义。

HMC 研究考察了各种计算方法。最初的方法结合了手工制作的 linguistic 特征、词典和经典机器学习模型 [12]。引入预训练语言模型（PLMs）的上下文嵌入，以及在某些情况下的注意力层，带来了更高的性能。一些方法，例如 [13]，试图模糊目标健康术语以促进上下文聚焦。其他方法结合了情感和/或用户交互。然而，平衡一般理解、健康相关话语以及像 Reddit 这样平台的复杂性，特别是识别术语的字面和非字面用途的能力，这一基本问题在很大程度上仍未得到解决。多模态感知和模式识别的最新进展表明，诸如情感、语调和对话结构等上下文信号——通常从像 MELD 这样的多模态数据集中学习——可以为解释歧义表达提供互补的见解 [14]。虽然像 RHMD [15] 这样的纯文本数据集中无法直接获得此类信号，但它们激发了对能够抵抗上下文歧义并通过更丰富的文本表示近似此类线索的模型的需求 [16]。

为应对这些挑战，我们提出了一种基于多教师知识蒸馏（MTKD）的新型框架。该模型的焦点是通过利用从多个教师模型中蒸馏出的专业化知识，来打破学生模型的先入为主的观念。更重要的是，我们关注两个教师模型，它们都是在 HMC 任务上经过微调的。
1. 一般上下文教师（BERT）。一个在一般网络语料库上微调的教师模型（BERT）提供了对一般语言及其结构的强大掌握，这有助于理解语言模式和语义。
2. 领域特定教师（BioBERT）。一个在大量生物医学文献上微调的教师模型，有助于提供上下文健康相关术语及其使用范围。

我们相信，蒸馏到紧凑学生模型（DistilBERT）中的知识可以进一步增强学生准确识别来自潜在复杂 Reddit 帖子中的相关信息的能力。为实现这一目标，我们嵌入了一个轻量级的关键词注意力机制。该机制引导学生模型关注感兴趣的健康相关词语，并在分类时考虑周围的上下文。所提出的框架使用 RHMD 作为主要的监督 HMC 数据集。因为 RHMD 不包含配对的音频或视觉信号，最终的 HMC 分类器执行纯文本推理。为了在不歪曲 RHMD 任务的前提下融入多模态主题，我们在训练期间使用 MELD 作为辅助多模态资源：文本、音频和视觉对话线索用于训练一个多模态线索教师，其情感上下文知识通过辅助头蒸馏到学生中。因此，模型在表示学习期间是多模态的，同时对于 Reddit 文本部署保持实用性。

本研究的主要贡献如下：
•我们提出了一个专为 Reddit 上的 HMC 定制的 MTKD 框架，其中一般上下文 BERT 教师和生物医学 BioBERT 教师将互补知识蒸馏到一个紧凑的 DistilBERT 学生中。
•我们在学生模型内部集成了关键词注意力机制。该层引导分类器关注健康相关的词汇线索，同时保留区分字面、比喻和非个人用法所需的上下文。
•我们引入了一个使用 MELD 的辅助多模态蒸馏组件。一个多模态线索教师从 MELD 转录、音频和视觉线索中训练得出，其情感上下文输出通过辅助蒸馏目标转移到学生中。
•我们在 RHMD 上提供了详细的经验分析，包括类别级结果、混淆矩阵分析、针对比喻提及处理的 TN_FM 评估、消融分析和计算效率比较。最终模型实现了 0.8203 的 F1-宏观值、0.8232 的 Precision-宏观值、0.8191 的 Recall-宏观值和 0.8563 的 TN_FM 值。

章节片段

问题定义
给定一个 Reddit 帖子 Pi，由标记序列 Pi={t1,t2,…,tn} 组成，其中 i 表示帖子索引，n 是帖子中的标记数量，目标是将 Pi 分类到 k 个预定义类别 Y={y1,y2,…,yk} 中的一个。这些类别代表帖子中健康或症状术语使用的性质。与 RHMD 数据集的评估方案及先前的对比工作 [13] 保持一致，我们将 k=3。标签对应于：
1. 字面非健康提及：该

系统模型：现实世界应用场景
为了更好地传达所提出的带有关键词注意力的 MTKD 模型的有用性和影响，我们描述了所提出的公共卫生监测系统的一个概念系统模型。该概念系统模型描述了将原始社交媒体数据处理为健康见解的更大流程，其中嵌入了 HMC 框架。

数据集
我们在 Naseem 等人 [15] 引入的公开可用的 Reddit 健康提及数据集（RHMD）上进行主要的 HMC 实验。RHMD 数据集包含 10,015 个手动标注的 Reddit 帖子，每个帖子至少包含 15 个常见疾病或症状术语中的一个。原始标注包括四个标签：个人健康提及（PHM）、非个人健康提及（NPHM）、比喻健康提及（FHM）和夸张健康提及（HBHM）（见表 1）。

对于我们的实验，以及为了

结果
本节展示了所提出的带有关键词注意力和基于 MELD 的辅助多模态蒸馏的 MTKD 模型在 RHMD 数据集上的性能。我们将我们的方法与既定基线进行比较，并分析其在整体 HMC、类别分类、比喻提及处理、消融行为和计算效率方面的有效性。RHMD 测试集仍然是 HMC 评估的最终基准。

细粒度的每类指标
除了标准的精确率和召回率外，我们还计算了 RHMD 测试集中每个类别的特异度、假阳性率（FPR）和假阴性率（FNR）（表 7）。模型对所有类别保持了高特异度，尤其是对字面非健康提及。比喻非健康类别的 FNR 为 0.1903，表明比喻表达仍然具有挑战性，但处理得相当可靠。

在具有挑战性的数据子集上的性能
我们进一步评估了 RHMD 测试数据子集上的模型性能

结论
本文解决了 Reddit 上的 HMC 问题，特别强调区分真实的个人健康提及与字面非个人提及以及疾病和症状术语的比喻或夸张用法。我们提出了一种多模态 MTKD 框架，其中 BERT 和 BioBERT 作为互补教师，用于一个带有关键词注意力的紧凑 DistilBERT 学生。BERT 教师贡献了一般上下文理解，而 BioBERT 贡献了生物医学领域知识。关键词

CRediT 作者贡献声明
Vishal Krishna Singh：写作 – 审阅与编辑，写作 – 初稿，验证，监督，资源，方法论，形式分析，数据整理，概念化。Niharika Anand：写作 – 审阅与编辑，监督，资源，项目管理，调查。Abhijit Mahendra Bhalekar：写作 – 初稿，可视化，验证，方法论，调查，形式分析，数据整理。Rajkumar Singh Rathore：写作 – 审阅与编辑，可视化，

发表同意书
所有作者同意发表。

投稿声明
本稿件是原创的，此前未发表过，未在其他地方考虑中，也不是以前发表作品的扩展。

生成式 AI 和 AI 辅助技术在写作过程中的声明
Grammarly 仅用于语法和拼写校正。未使用生成式 AI 进行内容生成、数据分析或科学解释。

资助
本工作未收到特定资助。

竞争利益声明
作者声明他们没有已知的竞争财务利益或个人关系，这些可能会影响本文中报告的工作。

致谢
作者感谢本研究中使用的公开可用数据集。

Vishal Krishna Singh
Vishal Krishna Singh|Niharika Anand|Abhijit Mahendra Bhalekar|Rajkumar Singh Rathore