多阶段对抗表示学习用于鲁棒性金融实体级情感分析

《Frontiers in Artificial Intelligence》：MSAR: multi-stage adversarial representation learning for robust financial entity-level sentiment analysis

　　

金融实体级情感分析旨在识别金融文本中针对特定金融实体的情感极性。该任务具有挑战性，因为单个句子可能包含多个具有相反情感取向的实体，而金融情感通常通过领域特定和隐式线索传达，增加了实体混淆的风险。为应对这些挑战，研究人员提出了MSAR（Multi-Stage Adversarial Representation Learning，多阶段对抗表示学习）框架，该框架构建于FinBERT-CRF骨干之上。在文本层面，模型敏感度量（Model-Sensitive Metric，MSM）通过联合考虑模型敏感性、语义一致性和语言流畅性来生成对抗样本。在表示层面，自适应对抗正则化（Adaptive Adversarial Regularization，AAR）根据梯度敏感性和输出分布变化动态调整正则化强度。通过将离散文本扰动与连续表示正则化相结合，MSAR增强了鲁棒性实体级情感预测。在FinEntity和SentFin上的实验表明，MSAR优于代表性基线。消融实验、敏感性实验和低资源实验进一步证实了所提出组件的有效性和鲁棒性。这些发现表明，联合优化文本层面和表示层面的鲁棒性能够改善金融实体级情感分析，尤其是在低资源条件下。

多阶段对抗表示学习框架：面向鲁棒性金融实体级情感分析的统一方法

一、研究背景与问题

金融文本数据的快速增长，包括新闻报道和社交媒体内容，推动了金融情感分析研究的深入发展。与传统的文档级情感分类不同，金融实体级情感分析聚焦于识别文本中特定金融实体（如公司或股票）的情感极性。这一任务本质上具有挑战性，因为金融文本往往实体密集且高度依赖上下文。单个句子经常对不同实体承载不同甚至相互冲突的情感取向，例如《华尔街日报》中的陈述——"我们看到ChatGPT的能力和消费者吸引力对Alphabet的倍数构成近期威胁，而对微软和英伟达则是提振"——对微软传达积极情感，同时对Alphabet暗示消极影响。这类真实案例凸显了模型处理多实体金融文本中分歧情感的能力需求。

领域特定的预训练语言模型，如FinBERT，通过捕捉领域特定语义和上下文依赖，在金融情感分析中取得了优异性能。然而，这些模型对微小的输入扰动仍然高度敏感。细小的文本变化，如同义词替换或嵌入空间中的轻微噪声，可能导致预测结果的大幅波动，甚至反转情感判断。在金融这一高风险领域，这种不稳定性削弱了决策支持系统的可靠性。因此，提升模型鲁棒性已成为实际金融情感分析的关键需求。

为提升预训练语言模型的鲁棒性，对抗训练在自然语言处理中被广泛采用。通过在训练过程中引入精心设计的扰动，对抗学习鼓励模型学习更平滑的决策边界和更稳定的特征表示。然而，现有的对抗学习方法在应用于金融实体级情感分析时仍存在两个关键缺陷：第一，大多数方法仅在单一层面执行对抗扰动——离散文本空间或连续表示空间——忽视了二者的互补优势，无法同时防御两类扰动；第二，传统对抗框架未显式建模多实体金融文本的独特特征，难以分离和稳定不同目标的情绪预测，常导致不同实体间的情绪混淆，降低整体分类可靠性。

二、研究内容与核心发现

为应对上述局限，研究人员提出了MSAR（Multi-Stage Adversarial Representation Learning，多阶段对抗表示学习）——一个统一的双层面对抗框架，用于金融实体级情感分析。该框架通过两个层次化模块执行联合扰动学习。第一个模块在文本层面运行，称为MSM（Model-Sensitive Metric，模型敏感度量）。在增强的模型敏感度量评分函数引导下，该模块在词和短语层面生成细粒度离散扰动，聚焦核心金融实体特征，同时保持上下文连贯性。第二个模块在表示层面运行，定义为AAR（Adaptive Adversarial Regularization，自适应对抗正则化）。该模块在潜在特征空间中对实体特定嵌入引入受控连续扰动，从而细化稳定的实体级决策边界。通过整合这两个模块，MSAR实现了具有显式实体感知建模的多尺度对抗学习。这一设计缓解了跨实体情感冲突，增强了模型鲁棒性和泛化能力，同时保持高分类精度。

在FinEntity和SentFin两个数据集上的实验表明，MSAR优于代表性基线方法。消融实验、敏感性实验和低资源实验进一步证实了所提出组件的有效性和鲁棒性。这些发现表明，联合优化文本层面和表示层面的鲁棒性能够改善金融实体级情感分析，尤其是在低资源条件下。该论文发表在《Frontiers in Artificial Intelligence》。

三、关键技术方法

研究人员为开展研究主要采用了以下关键技术方法：

1. 1.
   FinBERT-CRF骨干架构：以领域特定预训练模型FinBERT作为编码器提取上下文表示，结合条件随机场（CRF，Conditional Random Field）解码器进行序列标注，实现多实体的情感极性预测。
2. 2.
   MSM引导的离散扰动生成：基于梯度显著性方法识别关键扰动位置，通过掩码语言模型（MLM，Masked Language Model）生成候选扰动，执行替换、插入和合并三种操作，并利用模型预测敏感性、语义相似性和语言流畅性三个标准联合评估候选扰动。
3. 3.
   AAR自适应对抗正则化：在连续表示空间引入梯度扰动，根据梯度敏感性（S_grad）和输出分布敏感性（S_out）的几何均值动态调整实例级正则化权重，实现自适应平滑约束。
4. 4.
   联合训练目标：将CRF监督损失与自适应对抗正则化项联合优化，在分类性能与鲁棒性之间取得平衡。

四、研究结果

4.1 主实验结果：在FinEntity和SentFin数据集上，MSAR框架相较代表性基线方法取得了更优的实体级情感分类性能，验证了双层面对抗学习框架的有效性。

4.2 消融实验：通过分别移除MSM离散扰动模块和AAR连续正则化模块，证实了两个模块各自对模型鲁棒性和分类精度的贡献，表明二者的互补整合是性能提升的关键。

4.3 敏感性实验：对关键超参数（如扰动幅度、正则化权重上限等）进行敏感性分析，验证了MSAR框架在不同参数设置下的稳定性和鲁棒性。

4.4 低资源实验：在训练数据受限的条件下，MSAR仍保持了较好的性能表现，表明该框架在低资源场景下具有更强的泛化能力和实用性。

五、讨论与结论

论文的讨论部分指出，现有对抗学习方法在金融实体级情感分析中存在两个关键缺陷：仅在单一层面执行对抗扰动，忽视了离散文本空间与连续表示空间的互补优势；未显式建模多实体金融文本的独特特征，难以分离和稳定不同目标的情绪预测。

研究结论部分的核心发现是：通过MSM模块在文本层面生成模型感知的离散对抗扰动，以及AAR模块在表示层面自适应调整连续正则化强度，MSAR框架能够有效缓解跨实体情感冲突，增强模型对输入扰动的鲁棒性和泛化能力，同时保持高分类精度。在FinEntity和SentFin数据集上的实验验证了该框架的有效性，消融实验、敏感性实验和低资源实验进一步确认了各组件的贡献。这些发现表明，联合优化文本层面和表示层面的鲁棒性能够显著改善金融实体级情感分析，特别是在低资源条件下，为金融领域的高可靠性决策支持系统提供了重要的技术支撑。