综述:轻量级强化图学习框架,用于资源需求较低的文本分类任务

《Neurocomputing》:Lightweight reinforcement graph learning framework for low resource sensitive text classification

【字体: 大 中 小 】 时间:2026年05月04日 来源:Neurocomputing 6.5

编辑推荐:

  作者:鲍宇志、李俊宝、盛园园、刘焕宇 哈尔滨工业大学,中国黑龙江省哈尔滨市南岗区西大直街92号,邮编150001 摘要 在极端资源匮乏的条件下对敏感文本进行分类极具挑战性,因为这些文本具有细粒度类别和易混淆的边界。尽管图神经网络能够捕捉结构语义,但它们会受到静态拓扑噪声的影响

  
作者:鲍宇志、李俊宝、盛园园、刘焕宇
哈尔滨工业大学,中国黑龙江省哈尔滨市南岗区西大直街92号,邮编150001

摘要

在极端资源匮乏的条件下对敏感文本进行分类极具挑战性,因为这些文本具有细粒度类别和易混淆的边界。尽管图神经网络能够捕捉结构语义,但它们会受到静态拓扑噪声的影响。此外,现有的基于伪标签的强化学习(RL)改进方法往往会导致严重的确认偏误。为了解决这些问题,我们提出了LRG-Sens,这是一个适用于敏感文本分类的轻量级强化图学习框架。我们将图构建问题表述为一个上下文博弈问题,其中强化学习代理动态地修剪词汇节点,以物理方式消除拓扑噪声,从而生成最优且紧凑的文档图。该代理不受脆弱且有限的标签影响,而是由一种新颖的、受物理原理启发的无监督奖励机制驱动,这种机制在信息能量保留、拓扑稀疏性和能量门控隔离惩罚之间取得平衡,从而保留关键的语义枢纽。随后,分层传递式图卷积网络利用这种净化后的拓扑结构同时评估标记节点和未标记节点,最大化利用稀疏监督信号的效果。我们在真实世界的机密语料库(CIA)和公共基准测试中的广泛实验表明,LRG-Sens在极端5次采样场景下实现了先进的准确性和稳定性。它显著降低了计算开销,并且在高度混淆的机密文本上明显优于庞大的经过指令调优的8B语言模型。

引言

敏感文本通常包含与暴力、恐怖主义或政治敏感话题相关的信息。随着全球法规的日益严格,自然语言处理(NLP)在分析敏感内容方面的应用取得了显著进展,特别是在攻击性语言检测[1]、[2]、社交媒体内容审核[3]、[4]以及敏感内容分类[5]、[6]等领域。
然而,现有研究主要集中在公共社交媒体平台[4]或一般实体[7]上,而对国家级机密文本的深入分析仍然非常有限。机密文本[8]涵盖军事、政治和外交领域,根据严格的政府规定进行了明确标记。与拥有丰富公共基准的普通敏感类别[9]不同,法律限制[10]严重限制了真实机密数据的获取。因此,现有研究往往依赖于模拟或代理敏感信息[11],这在实际的低资源敏感文本分类中造成了关键差距。
该领域的另一个根本性瓶颈在于分配敏感级别的标准不统一且高度混淆,导致结构相同的文本被赋予截然不同的标签。图1中的真实机密文本就是一个例证。这两份文档都使用了高度重叠的词汇描述边境部队部署;然而,前者被标记为绝密,而后者仅被标记为秘密。由于这两份文档涉及完全相同的军事背景,通过标准语义理解进行消歧非常困难。这种刻意的语义混淆和严重的拓扑噪声对传统分类器构成了巨大挑战。
早期的敏感文本分类方法主要是基于规则的[8]、[13],导致较高的误报率[10]。深度学习模型能够有效学习词汇语义[5]、[12],但在处理复杂文档和数据有限的情况下表现不佳。预训练语言模型(PLMs)[14]以及随后出现的大型语言模型(LLMs)[15]显著提升了临床[16]、[17]和其他敏感文本分类任务[18]、[19]的分类能力。然而,LLMs的部署难度较高[20],而且敏感文本的私密性质使得无法使用在线API进行分析[21]。同时,仅使用极其稀少的标签对庞大的参数空间进行局部微调不可避免地会导致在敏感任务上出现灾难性的过拟合[22]。
基于图神经网络(GNNs)[23]、[24]的方法在文本分类中表现出显著效果,因为它们能够建模语义关系结构,但很少有研究[2]、[25]将其应用于敏感场景。当前的研究引入了异构图学习[26]、[27]、预训练[28]和对比学习[30]。然而,大多数图构建方法仍然依赖词频来选择节点[31],未能深入探索关键节点之间的关键依赖关系。强化学习(RL)[32]、[33]也通过使用伪标记样本来在有限标签下改进文本分类[34]。然而,这些方法的有效性在很大程度上取决于基础模型,而传统的马尔可夫决策过程(MDP)[35]公式在高维文本环境中面临难以处理的状态空间问题,这未能从根本上提升模型的分类能力[36]。
为了解决上述挑战,我们提出了LRG-Sens,这是一个适用于极端资源匮乏条件下敏感文本分类的轻量级强化图学习框架。与传统监督范式不同,我们将文档图构建问题表述为一个单步的上下文博弈问题。在这个框架中,策略网络作为主动的节点修剪代理,修剪掉具有欺骗性的词汇,仅保留定义为保持全局连通性所需的高能量语义枢纽的显著节点。重要的是,策略网络的优化不是依赖于伪标签或分类器性能指标,而是通过一种新颖的、受物理原理启发的无监督奖励进行群体相对策略优化。通过平衡信息能量保留与连续的拓扑稀疏性奖励,并引入能量门控隔离惩罚,代理优化了词汇子集,从而生成了一个轻量级、高能量的图拓扑。这种方法使模型能够自主提取针对特定语料库的最佳词汇表示,同时降低特征空间的维度并提高对易混淆敏感类别的区分能力。最后,分层传递式图分类器从这个净化后的拓扑结构中提取特征,同时评估标记节点和未标记节点,全面捕捉全局语义和结构信息,有效规避了过拟合问题。
我们的主要贡献总结如下:
  • •
    我们提出了LRG-Sens,这是一个将图拓扑优化与下游分类分离的新框架。通过将上下文博弈RL代理与分层传递式图卷积网络(GCN)相结合,我们的方法减少了敏感文本中的语义混淆,有效缓解了资源匮乏环境下的确认偏误,并提高了分类性能。
  • •
    我们设计了一种纯粹基于物理原理的无监督奖励机制。通过评估信息能量、结构稀疏性和节点隔离情况,而不是依赖有限的标签,该框架动态生成了一个轻量级但信息丰富的图拓扑,显著降低了计算开销,同时保留了关键的语义枢纽。
  • •
    我们引入了CIA数据集,这是一个来自真实解密机密文本的具有挑战性的新基准。在多个数据集上的全面实验表明,LRG-Sens方法在准确性和轻量效率方面均达到了先进水平。

章节片段

敏感文本分类

敏感文本分析包括多种关键任务,如脏话检测[1]、[4]、[37]、仇恨言论分类[5]、[38]、网络欺凌识别[25]和机密文本分类[12]。早期研究主要依赖于预定义的敏感词汇表或基于规则的函数进行初步筛选[8]、[13],然后使用传统的机器学习方法进行分类[38]。这些方法存在明显局限性,尤其是在

方法论

在本节中,我们将详细介绍所提出框架的各个模块。LRG-Sens包括三个阶段:文档图构建、无监督拓扑优化和分层传递式图学习。LRG-Sens的总体架构如图2所示。

机密数据集

为了解决机密文本分类所需真实数据的稀缺问题[10]、[11],我们通过从美国国家档案馆1和信息自由法案(FOIA)网站2上获取的中央情报局(CIA)最近解密的文档构建了一个基准数据集。
重要的是,每份文档的真实标签并非通过自动化方式提取的

局限性

尽管LRG-Sens在敏感文本分类方面取得了显著进展,但它仍存在一些需要进一步探索的局限性。首先,文档图的优化依赖于在庞大的离散拓扑空间中进行搜索。尽管我们的群体相对策略优化算法通过无监督的物理奖励高效地导航了这个空间,但在训练过程中的初始探索阶段仍然会带来相当大的计算开销。

结论

在本文中,我们提出了LRG-Sens,这是一个轻量级强化图学习框架,用于解决敏感文本分类中标签稀缺和严重语义混淆的关键问题。与传统监督范式不同,我们将文档图构建问题表述为一个单步的上下文博弈问题。通过引入一种创新的、无监督的物理奖励机制,严格平衡了信息能量保留和拓扑稀疏性,我们的

CRediT作者贡献声明

鲍宇志:撰写——审稿与编辑、撰写——原始草稿、软件开发、资源管理、方法论研究、数据整理、概念化。李俊宝:监督、项目管理。盛园园:可视化处理、验证。刘焕宇:监督、资金获取。

利益冲突声明

作者声明他们没有已知的可能影响本文工作的竞争性财务利益或个人关系。
鲍宇志于2024年获得中国科学院北京分校的硕士学位。他目前正在哈尔滨工业大学攻读博士学位。他的当前研究兴趣包括自然语言处理和通信干扰对策。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号