《Information Processing & Management》：Event-centric human value understanding in news-domain texts: An actor-conditioned benchmark across multi-scope event contexts
编辑推荐：
人类价值被普遍理解为指导个人和社会判断行动与结果的规范性原则。随着大型语言模型（LLMs）越来越多地被用于阅读、总结和解释新闻，它们不仅生成流畅的文本，还塑造了信息的解读方式。在此背景下，仅有事实准确性是不够的。一个系统可能正确报告发生了什么，同时却错误地归因
人类价值被普遍理解为指导个人和社会判断行动与结果的规范性原则。随着大型语言模型（LLMs）越来越多地被用于阅读、总结和解释新闻，它们不仅生成流畅的文本，还塑造了信息的解读方式。在此背景下，仅有事实准确性是不够的。一个系统可能正确报告发生了什么，同时却错误地归因新闻中带有价值色彩的方面，例如将责任分配给错误的行为者，或以反映模型先验而非源证据的方式构建事件框架。这创造了一种需求，即评估模型是否能以一种基于证据和对行为者敏感的方式来处理新闻中与价值相关的方面。为了解决这一设定，研究人员引入了NEVU（News Event-centric Value Understanding），一个用于新闻细粒度人类价值理解的基准。每篇文章被组织成四个语义层级：子事件（Subevent）、基于行为的复合事件（BCE）、基于故事的复合事件（SCE）和文章（Article）。定向的人类价值标注被分配给每个单元内的特定行为者，从而实现了跨多个语义范围的价值识别。基于此结构，研究人员将新闻中的人类价值识别定义为一个跨多个语义范围的事件单元上的、行为者条件和方向感知的基准任务。研究人员采用了Kiesel等人（2022）的层次化价值分类法，同时使用了L1（54个细粒度价值）和L2（20个粗粒度类别）两个层级。为了阐明本研究的范围，研究人员聚焦于两个主要研究问题：（RQ1）在当前语言模型能在多大程度上，以基于证据、行为者条件和方向感知的方式，在所评估的NEVU数据上识别人类价值；（RQ2）不同的语义范围和结构化复合事件语境如何影响NEVU框架下的行为者条件人类价值识别。研究人员还将LoRA作为一种补充性分析，以检验该基准是否提供了超越纯提示评估的有用学习信号。研究人员的主要贡献总结如下：
•研究人员将新闻中的人类价值识别形式化为一个在文章（Article）、子事件（Subevent）、基于行为的复合事件（BCE）和基于故事的复合事件（SCE）单元上的、基于证据的基准任务，实现了跨多个语义范围的行为者条件和方向感知评估。
•研究人员提出了NEVU，一个大规模基准，用于英语新闻中的事件中心、行为者条件和方向感知的人类价值理解，包含2865篇文章、26,326个子事件、9398个BCEs、8000个SCEs、72,905个标注的单元-行为者对，以及168,061个定向价值实例。
•研究人员建立了一个系统的基准协议，并在共享的层次化价值空间（L1 54/L2 20）下评估了专有和开源LLMs，使得在NEVU框架下可以直接比较模型性能。
•研究人员进一步表明，NEVU支持监督式微调：LoRA在NEVU参考标签设置下持续提升了开源LLMs的性能，这表明行为者条件的标注为该基准任务提供了可用的训练信号。
论文解读文章
1. 研究背景与问题
人类价值是指导个体与社会判断行为及后果的规范性原则。随着大型语言模型（LLMs）被广泛应用于新闻的读取、总结与阐释，其输出的不仅是流畅的文字，更在塑造信息解读方式。然而，现有研究面临一个关键挑战：系统可能在准确报道事实的同时，错误地归因新闻中的价值维度，例如将责任归于错误的行为者（actor），或以模型自身的先验知识而非文本证据来构建事件框架。因此，亟需一种评估方法，能够检验模型是否具备基于证据、并对行为者敏感地处理新闻中价值相关信息的能力。
现有的人价值研究主要集中于非新闻文本（如论点、对话）或模型的输出端对齐与控制，缺乏针对新闻领域的输入侧、基于证据的价值理解基准。新闻文本的特殊性在于，它描述涉及多重行为者、行为、制度约束及后果的社会过程，价值线索往往是隐含的，分布在事件内部或跨事件之间，并与行为者归属和叙事框架紧密交织。单纯的篇章级标注过于粗糙，无法揭示模型是否遗漏了相关证据、混淆了行为者或颠倒了价值方向。
为此，研究人员提出NEVU（News Event-centric Value Understanding）基准，旨在填补这一空白，系统地评估模型在新闻文本中进行细粒度、行为者条件化、方向感知的人类价值识别的能力。
2. 研究内容与结论
本研究聚焦于两个核心问题：（RQ1）当前语言模型在NEVU框架下，能以何种程度实现基于证据、行为者条件和方向感知的人类价值识别；（RQ2）不同的语义范围和结构化复合事件语境如何影响这一识别过程。研究人员通过构建大规模基准并进行系统性评估，得出结论：当前模型在该任务上表现有限，尤其是开源模型与专有模型之间存在显著差距，而通过LoRA微调可以大幅提升开源模型性能，证明NEVU标注提供了有效的学习信号。
3. 关键技术方法
研究人员主要采用了以下关键技术方法：
- •
基准构建：从UKnow（Gong等，2024）和英语维基新闻（English Wikinews）两个来源收集数据，构建了包含2865篇文章的多范围语义单元体系。通过人工标注流程，对文章（Article）、子事件（Subevent）、基于行为的复合事件（BCE）和基于故事的复合事件（SCE）四个层级的单元-行为者对进行定向人类价值标注，最终形成包含72,905个单元-行为者对和168,061个定向价值实例的NEVU基准。
- •
评估协议：采用Kiesel等人（2022）的层次化价值分类法（L1含54个细粒度价值，L2含20个粗粒度类别），将人类价值识别形式化为一个多标签分类任务。通过设计统一的提示模板，对包括GPT-4o、Claude 3.5 Sonnet在内的专有模型和Llama-3系列、Qwen2.5系列等开源模型进行零样本评估。
- •
监督微调：采用低秩适应（LoRA）技术对开源LLMs进行参数高效微调，以验证NEVU标注数据能否提供超越纯提示评估的有效训练信号。
4. 研究结果
4.1 整体性能
研究发现，所有模型在NEVU任务上的表现均远未达到饱和。专有模型（如GPT-4o、Claude 3.5 Sonnet）在多数指标上优于开源模型（如Llama-3-70B、Qwen2.5-72B），但即使是最佳模型，其宏观F1分数也相对较低，表明该任务的挑战性。
4.2 不同语义范围的影响
通过对比不同语义单元（Article、Subevent、BCE、SCE）上的性能，研究人员发现，语义范围对模型性能有显著影响。通常，在较细粒度的单元（如Subevent）上，模型表现较好，因为上下文更集中；而在较粗粒度的单元（如Article）上，由于信息分散，模型识别价值的难度增加。结构化复合事件（BCE和SCE）的引入，为模型提供了超越局部子事件的聚合上下文，有助于捕捉跨事件的价值关联，但对模型性能的提升并非总是正向，有时反而增加了复杂性。
4.3 LoRA微调效果
在NEVU参考标签设置下进行的LoRA微调实验显示，该方法在所有评估的开源模型上都带来了显著的性能提升。例如，LoRA微调后的模型相较于纯提示基线，在宏观F1分数上平均提升了29.77分，相较于专有模型的纯提示基线也提升了8.21分。这充分证明了NEVU基准所提供的行为者条件标注数据是一个高质量的训练信号，能够有效提升模型在该任务上的能力。
5. 讨论与结论
讨论部分：研究人员指出，尽管NEVU提供了一个系统化的评估框架，但当前结果揭示了模型在理解新闻文本中复杂价值关系方面的局限性。模型容易受到表面线索的误导，难以区分不同行为者的价值立场，并且在处理跨事件的价值演变时表现不佳。这些发现强调了未来研究需要更深入地结合事件结构与叙事推理。
结论部分：本研究提出了NEVU，一个用于新闻领域事件中心人类价值理解的大规模基准。NEVU通过在多范围事件语境中对行为者进行条件化的定向价值标注，形式化了新闻中的人类价值识别任务。对多种LLMs的系统评估表明，该任务具有高度挑战性，现有模型远未达到人类水平。同时，LoRA微调的成功表明NEVU为监督学习提供了有价值的信号。NEVU基准、代码和评估协议均已公开，旨在推动新闻领域中更可靠、更具可解释性的价值理解研究。
