《Electronics》:Correction: Zhao et al. A Review of State-of-the-Art Methodologies and Applications in Action Recognition. Electronics 2024, 13, 4733
编辑推荐:
细粒度有毒语言检测旨在评估文本内容的有害性、表达风格和攻击目标,支持在线平台上的精细内容审核。现有大多数方法独立建模每个子任务,未能利用任务间的语义关联,而传统对比学习在多任务、多标签设置下容易引入假负样本。为解决这些局限性,研究人员提出了一种提示增强的多任务
细粒度有毒语言检测旨在评估文本内容的有害性、表达风格和攻击目标,支持在线平台上的精细内容审核。现有大多数方法独立建模每个子任务,未能利用任务间的语义关联,而传统对比学习在多任务、多标签设置下容易引入假负样本。为解决这些局限性,研究人员提出了一种提示增强的多任务对比学习框架(PEMTCL)。该框架采用动态提示生成机制构建实例级软提示,使编码器能够自适应地捕获不同子任务所需的细粒度语义线索。随后,该框架联合优化四个子任务——毒性识别、毒性类型判别、表达类型检测和目标群体检测——在共享表示空间中实现任务间知识互补。此外,一个标签感知的多头对比学习模块利用多任务标签关系进行可靠的负样本选择,并引入样本重新加权机制,有效缓解了假负样本和类别不平衡问题。在ToxiCN和FG-COLD两个中文数据集上的实验表明,PEMTCL在大多数子任务上取得了最佳性能,在细粒度任务上提升尤为显著。消融研究、训练数据规模分析和案例研究进一步验证了所提模型的有效性和鲁棒性。
**论文解读:提示增强的多任务对比学习框架用于细粒度有毒语言检测**
**1. 研究背景与问题**
随着社交媒体的快速普及,用户生成内容中的有毒语言显著增加,成为网络空间治理的关键挑战之一。有毒语言通常通过显式或隐式表达针对特定群体,传达攻击性或仇恨性内容,易引发社会分化和心理伤害。对有毒语言进行多维度识别,有助于更全面地刻画其毒性程度、表达风格和攻击目标,并为平台内容审核和分级响应提供更细粒度的证据。
现有研究面临两个主要问题:第一,大多数方法独立建模各细粒度子任务(如毒性识别、毒性类型判别、表达类型检测、目标群体检测),未能充分利用任务间的语义相关性,导致模型对复杂细粒度有毒样本的综合识别能力受限。第二,传统对比学习主要针对单任务或单标签场景设计,在多任务、多标签设置下,如何根据跨任务标签关系有效划分负样本,并关注与锚点语义相似但标签不同的难负样本,仍是一个开放问题。为此,研究人员提出了PEMTCL框架,旨在通过动态提示生成、多任务联合优化和标签感知对比学习,实现细粒度有毒语言检测的语义增强和表示区分。
**2. 主要研究方法**
PEMTCL框架包含三个核心模块:动态提示生成、多任务学习和标签感知多头对比学习。动态提示生成模块通过自适应融合共享源提示和任务级先验,构建实例级软提示,使编码器能捕获不同子任务所需的细粒度语义线索。多任务学习模块共享预训练编码器,联合优化毒性识别、毒性类型判别、表达类型检测和目标群体检测四个子任务,在统一表示空间中兼顾粗粒度和细粒度毒性特征。标签感知多头对比学习模块利用多任务标签信息构建细粒度正负样本关系,通过动量队列扩展负样本来源,基于标签重叠率过滤假负样本,并引入样本重新加权机制加强难负样本约束。
**3. 研究结果**
**3.1. 基线对比(5.3节)**
在ToxiCN数据集上,PEMTCL在毒性类型判别、表达类型检测和目标群体检测三个细粒度子任务上取得最佳性能,在二元毒性识别任务上略低于依赖外部大模型知识的RCT方法,但无需外部知识源,实现了实用性与性能的良好平衡。在FG-COLD数据集上,PEMTCL在所有四个子任务上均取得最佳性能,尤其在三个细粒度子任务上提升显著,验证了其对复杂标签分布和类边界的处理能力。
**3.2. 消融研究(5.4节)**
通过移除动态提示生成、对比学习、负样本过滤和难负样本加权等模块,发现完整模型在所有子任务上性能最优,移除任一模块均导致性能下降。动态提示生成和对比学习模块对细粒度子任务的贡献大于二元毒性识别任务,尤其在FG-COLD上更为明显,表明两者具有互补作用。
**3.3. 训练数据规模影响(5.5节)**
在不同比例训练数据下(10%~100%),PEMTCL始终优于TKE-RoBERTa和MTL-RoBERTa,且在细粒度子任务上优势更突出,说明动态提示和标签感知对比学习能在有限标注样本下增强任务相关语义建模和表示区分性,提升低资源训练下的鲁棒性。
**3.4. 案例研究(5.6节)**
选取四个代表性样本分析,PEMTCL在隐式表达识别、复合目标识别、类边界判别和否定语境理解方面均优于基线模型。例如,正确识别隐式性别歧视的隐式表达和性别目标;准确预测同时涉及性别和种族的复合目标;正确区分普通攻击语言与仇恨言论;正确识别非有毒文本(概念澄清),避免误判。
**4. 讨论与结论**
**讨论部分总结:**
当前评估仅限于ToxiCN和FG-COLD两个中文数据集,所有实验均使用Chinese-RoBERTa-wwm-ext作为共享编码器,因此未建立跨语言、跨领域、跨平台或跨编码器的泛化能力。自然数据分布中Reporting和LGBTQ等类别样本较少,可能增加估计方差并限制对低频语言现象和人口群体的覆盖。类别感知负加权在训练中减少了类别不平衡的影响,但未消除对更广泛、更平衡评估数据的需求。重叠阈值固定为0.4,相邻阈值间差异较小,表明最佳边界可能依赖于数据集、类别分布和训练阶段。细粒度标注涉及主观区分,尤其是隐式表达、报告性文本和涉及多个目标群体的文本。此外,动态提示生成和动量队列引入了额外的内存和计算开销。基于LLM的基线结果来自原始研究而非统一执行环境,限制了严格实验可比性。
**研究结论部分翻译:**
研究人员提出了PEMTCL,一个用于细粒度有毒语言检测的提示增强多任务对比学习框架。通过整合动态提示生成、四个子任务的多任务联合优化以及带有负样本过滤和难负样本加权的标签感知多头对比学习,该框架在ToxiCN和FG-COLD数据集的大多数子任务上取得了最佳性能,尤其在细粒度维度上提升显著。消融研究、训练规模分析和案例研究结果进一步表明,动态提示生成和标签感知对比学习为样本特定适应和细粒度表示区分提供了互补性益处。