R2Dia：面向对话级情感四元组分析的推理感知强化学习

《Information Processing & Management》：R2Dia: Reasoning-aware reinforcement learning for dialogue-level sentiment quadruple analysis

　　

•三阶段 R2Dia 蒸馏共指和句法推理依据，随后通过强化学习进行优化。
•复合奖励对格式、推理质量和提取准确性进行评分。
•在中文和英文 DiaASQ 任务上达到最先进水平，且具有较高的数据效率。
引言
基于方面的情感分析（ABSA）是情感分析的一个基本子任务，旨在提取文本中针对特定方面的情感表达。它已在电子商务、产品评论和舆论监控等领域得到广泛应用（Liu, 2012, Pontiki et al., 2014）。然而，传统的 ABSA 任务主要专注于处理结构良好的单句或短文本（Su et al., 2025, Zhang et al., 2021, Zhou et al., 2023）。在真实的交互场景中，如社交媒体对话或在线论坛，用户情感往往是碎片化的、高度依赖上下文的，并分布在多个对话轮次中。例如，当用户在对话中评论产品时，讨论的方面和表达的意见可能位于不同的句子中，涉及跨说话人的共指和省略。这些特征给情感元素的精确提取带来了巨大挑战。
为了弥合这一差距，Li 等人（2023）正式定义了对话级情感四元组分析（DiaASQ）任务。如图 1 所示，给定一个社交媒体对话，DiaASQ 任务旨在提取一个或多个情感四元组：（目标，方面，观点，极性）。每个四元组精确描述了特定说话人对特定目标特定方面的看法及其情感极性。该任务的复杂性是多维的：它需要同时提取四个相互关联的元素，而这些元素（特别是目标和方面）可能分散在不同的轮次中，需要强大的跨句上下文理解能力。
为了应对 DiaASQ 任务，人们致力于捕捉跨轮次上下文的大量努力。早期方法主要依赖基于序列的距离惩罚，如旋转位置嵌入（Li et al., 2023）。后续工作演变为构建复杂的交互图来建模话语结构、线程回复关系和跨话语句法（Huang et al., 2024, Li et al., 2024, X. Li et al., 2025, Tong et al., 2025），或采用特定任务模块如专家混合和多尺度上下文融合来细化特征表示（He, Jia, et al., 2025, Zhang, Zhong, and Lv, 2025）。虽然这些方法逐步改善了上下文聚合，但它们主要依赖隐式表示学习（如图传播或注意力机制）来捕捉元素间关系。因此，面对自然对话中固有的两个关键瓶颈时，它们在结构上仍然受限。
首先，当前模型未能充分解决复杂的跨句共指消解问题。在对话中，省略和代词指代现象普遍存在（Chen et al., 2025, Kim et al., 2022）。例如，如图 1 所示，用户 A 提到"MacBook Air"后，用户 B 在"it 的表面看起来真的很棒"中通过代词"it"指代它；用户 B 讨论的隐式目标是"MacBook Air"。如果这种隐式指代关系未被正确识别，模型将难以将方面与正确的目标关联起来。其次，句内句法依存信息仍未得到充分利用（Jiang et al., 2023, Zhou et al., 2024）。在短语"MacBook Air 的端口选择"中，"端口选择"与"MacBook Air"之间存在明确的句法依存（如名词修饰）。这种结构信息对于准确配对方面和目标至关重要，然而现有模型受限于隐式序列建模，从未发出明确的共指或依存假设。
然而，获取这种明确的共指和句法结构构成了一个困境。一方面，传统的现成 NLP 流水线工具应用于嘈杂、非正式的社交媒体对话时会出现严重的误差传播，而为 DiaASQ 人工标注这些中间结构成本高昂。大型语言模型（LLMs）（Brown et al., 2020, OpenAI, 2023）的出现提供了一个有前景的范式转变。凭借深刻的常识知识和卓越的上下文推理能力（He, Zhu, et al., 2025, Wei et al., 2022, Yang et al., 2024, Yao et al., 2024, Yao et al., 2023, Yi et al., 2026, Zheng et al., 2024），LLMs 理论上可以通过思维链（CoT）提示激发所需的共指和句法依存关系，而无需额外的标注成本。然而，仍然存在一个关键差距。仅依赖零样本或少样本 LLM 提示是次优的，因为这些中间推理路径并未严格与最终的四元组提取目标对齐。因此，基本挑战变为如何在低成本的情况下利用 LLMs 的明确推理能力，同时动态优化这些中间推理步骤，以严格服务于最终的提取任务。
针对这些挑战，本文提出 R2Dia，这是一个 DiaASQ 框架，利用 LLMs 的推理能力，并通过强化学习（RL）微调思维链（CoT）过程，以明确学习和利用共指和句法信息。 specifically，R2Dia 分为三个阶段：首先，我们利用强大的闭源 LLM（如 GPT-5）构建推理流水线，为训练数据生成包含明确共指关系和句法分析的高质量 CoT 推理路径。其次，我们使用这些生成的"CoT-答案”对计算高效的开源模型进行监督微调（SFT），使其具备初步模仿复杂推理过程的能力。最后，也是最关键的，我们引入强化学习（如 GRPO），使用最终四元组提取 F1 分数作为奖励信号来进一步优化 SFT 模型。这一阶段迫使模型超越对 SFT 路径的机械模仿，使其能够自主学习和调整内部共指和句法推理逻辑，以最大化提取性能。
我们在两个广泛使用的中英文 DiaASQ 数据集上进行了广泛实验。结果表明，我们提出的模型在所有指标上显著优于现有的基线模型，达到了 SOTA 性能。深入的消融研究和案例分析进一步证实了明确建模共指和句法信息的有效性，以及强化学习阶段在优化推理路径中的作用。本文的主要贡献总结如下：
•我们对 DiaASQ 的核心挑战进行了系统分析，明确指出跨句共指消解和句内句法依存在解决该任务中的关键作用。
•我们提出了一个新框架 R2Dia，首次在该领域将 CoT 推理与 RL 集成。这使得模型能够自主学习和优化中间推理步骤（如共指和句法），以增强复杂信息提取能力。
•两个标准 DiaASQ 数据集上的实验结果表明，我们的模型达到了最先进水平，验证了所提方法的有效性和优越性。
章节片段
研究目标
本研究围绕三个研究问题展开。
1.RQ1. 明确的共指和句法推理如何改善对话级情感四元组提取？
2.RQ2. 强化学习能否更好地将中间结构推理与最终提取目标对齐？
3.RQ3. R2Dia 在语言、模型规模和推理设置下的鲁棒性和可推广性如何？
基于方面的情感分析
ABSA 始于单句提取，并稳步变得更加困难。三元组形式在 ASTE（Peng et al., 2020）中引入，并在 ASQP（Zhang et al., 2021）中扩展为四个元素。后来的工作从两个方面攻克难度更高的结构。在推理方面，在最终提取之前插入中间解释或阅读理解子任务（Kim et al., 2024, Zhang et al., 2024）。在模型方面，LLMs 本身接管了任务，通过... 作为直接提取器
方法
在本节中，我们提出 R2Dia（用于 DiaASQ 的推理与强化），这是一个旨在明确建模跨句共指和句内句法依存的三阶段框架。如总体流水线所示，我们的方法从知识获取到模型内化，最后到自我优化。首先，我们利用强大的教师模型（如 GPT-5）构建包含语言推理依据的高质量数据集。其次，学生模型是
数据集
我们在 DiaASQ 基准（Li et al., 2023）上进行评估，该基准包含 1000 个数字产品领域的社交媒体对话，有中文（ZH）和英文（EN）版本。对话收集自真实的在线讨论论坛，用户在论坛上讨论智能手机和平板电脑等消费电子产品。每个对话都标注了情感四元组（目标，方面，观点，极性）。正如原始基准论文（Li et al., 2023）所报告，标注工作是由...
结果讨论
RQ1 关注明确的共指和句法推理如何改变对稀疏和远距离对话依赖关系的处理。通过迫使模型阐述这些结构，它避免依赖浅层启发式线索。移除这种推理依据会在两个基准测试中损失约 5 个四元组 F1 值（表 4）。这种优势在最具有挑战性的配置中最明显：当跨话语距离跨越 3 轮或更多时，R2Dia 保持 38.8 的四元组 F1 性能，而一个...
结论
本文介绍了 R2Dia，这是一个结合思维链推理与强化学习的对话级情感四元组分析三阶段框架。在第一阶段，教师 LLM 为每个训练对话生成结构化的推理依据，包括共指消解和句法分析。第二阶段通过监督微调将这些推理依据蒸馏到学生模型中。第三阶段采用组相对策略优化，并使用奖励信号。CRediT 作者贡献声明
Ekaterina Melnik：写作 – 初稿，软件，方法论，调查，概念化。Jia Xu：写作 – 审查与编辑，监督，概念化。Peng Lu：写作 – 审查与编辑，项目管理，资金获取。
致谢
本工作得到数字人文视角下的湖湘流寓文化记忆构建与动态传承研究（23B1031）的支持。
Ekaterina Melnik 是武汉大学外国语言文学学院的博士研究生候选人。她于 2024 年在中国中南民族大学获得硕士学位。她的研究兴趣包括应用语言学。
Ekaterina Melnik|Jia Xu|Peng Lu