基于方面的情感演化及其与多轮同行评审中评审轮次的关联:一种深度学习方法

《Data and Information Management》:Aspect-based sentiment evolution and its correlation with review rounds in multi-round peer reviews: A deep learning approach

【字体: 大 中 小 】 时间:2026年02月11日 来源:Data and Information Management 8.3

编辑推荐:

  从同行评审评论文本的文本内容中挖掘情感信息,为科学评价过程提供了有价值的见解。然而,以往的研究往往受限于粗粒度分析以及缺乏对评审轮次的区分。值得注意的是,评审者在多个评审阶段中关注焦点和情感倾向的动态变化仍未得到充分探索。为弥补这一空白,本研究调查了方面级情感

  
从同行评审评论文本的文本内容中挖掘情感信息,为科学评价过程提供了有价值的见解。然而,以往的研究往往受限于粗粒度分析以及缺乏对评审轮次的区分。值得注意的是,评审者在多个评审阶段中关注焦点和情感倾向的动态变化仍未得到充分探索。为弥补这一空白,本研究调查了方面级情感的分布与演化,并检验其与评审轮次数量的相关性。研究人员首先对来自《自然·通讯》(Nature Communications)的11,063篇已录用论文的多轮评审评论进行分割,并识别出细粒度的评审方面聚类。随后构建了一个约5000条评审句子的人工标注语料库。利用该数据集,研究人员训练了一系列基于深度学习的方面情感分类模型。其中,LCF-BERT-CDM模型表现最佳,Macro-F1分数达到82.65%。后续统计分析揭示了一致趋势:随着评审轮次的增加,积极情感的比例上升,而消极情感的比例下降。相关性分析进一步表明,方面情感得分与总评审轮次数量呈负相关。表现出较强相关性的关键方面包括“实验”、“研究意义”和“结果分析”。
**多轮同行评审中基于方面的情感演化及其与评审轮次的关联:一项深度学习研究**

**研究背景与问题**
同行评审是学术出版中质量控制的核心机制,其评论内容不仅包含评审者对稿件质量的整体判断,还涉及对具体方面的评价,蕴含丰富的情感信息。然而,现有研究多采用粗粒度分析(如创新性、清晰度等宽泛维度),缺乏对评审对象具体方面的细粒度情感刻画,且大多未区分评审轮次,忽略了多轮评审过程中评审者关注焦点和情感倾向的动态变化。一般期刊论文仅提供整体评审周期信息,极少明确标注评审轮次,导致难以追踪情感随轮次演化的规律。由于作者会根据评审反馈不断修改稿件,评审者关注的关键方面及其情感倾向可能随轮次变化而变化。因此,本研究旨在填补这一空白,以《自然·通讯》(Nature Communications,简称NC)期刊已录用论文的多轮评审评论为数据源,回答三个研究问题:RQ1多轮评审评论中方面的情感分布如何?RQ2不同方面在评审轮次间的情感变化趋势如何?RQ3评审方面情感得分与最终评审轮次数量是否存在相关性?哪些方面相关性更强?

**研究内容与结论**
研究人员收集了2016至2020年间NC期刊11,063篇已录用论文的41,373份评审文件,通过结构规则识别和人工标注将评审评论按轮次分割,构建了多轮结构化语料库。利用双传播(Double Propagation,DP)算法提取方面词,结合亲和传播(Affinity Propagation,AP)聚类识别出11个细粒度方面类别。随后,研究人员人工标注了约5000条评审句子的方面情感极性(积极、中性、消极、模糊),构建了训练数据集。基于此,训练了多种深度学习情感分类模型,其中LCF-BERT-CDM模型表现最佳(Macro-F1=82.65%)。利用该最优模型对全部语料进行自动情感分类,统计分析了多轮评审中方面情感的分布与变化,并计算方面级和文档级情感得分,进而与评审轮次进行相关分析。

**主要结论**包括:(1)在全部评审评论中,消极和中性情感占主导,高频方面词如“数据”、“图表”、“结果”、“分析”等情感参与度最高;(2)随着评审轮次增加,各方面类别的积极情感比例上升,消极情感比例下降,但“方法模型”和“结论讨论”方面在第二轮至第三轮间出现先降后升的波动,而“图表”方面则先升后降;(3)文档级情感得分与评审轮次呈显著负相关(Spearman系数=-0.147),所有方面类别的情感得分均与评审轮次负相关,其中“实验操作”(EXP,r=-0.168)和“研究价值”(IMP,r=-0.163)相关性最强,“结构语言”(SNL,r=-0.079)最弱;分轮次看,第一轮与总体相关性一致,后续轮次中“图表”、“结论”等与最终轮次的相关性增强,第四轮时“方法模型”的相关性显著升高。

**研究意义**
理论上,本研究强调关注评审评论的轮次特征,细粒度方面情感分析能更深入揭示评审者态度;实践上,为作者提供了优化稿件的关键方面指导,有助于缩短评审周期。但研究存在局限,如仅包含已录用论文(存在幸存者偏差)、未覆盖更多期刊领域、分类模型性能有待提升、实验存在误差累积等。未来将扩展语料规模、采用更先进模型、探索评审者差异和学科差异。

**结论**
本研究以NC期刊2016-2020年发表的论文评审评论为数据集,构建了多轮方面情感标注语料库。LCF-BERT-CDM模型在方面情感分类中取得最佳性能(Macro-F1=82.65%)。统计分析显示,评审评论中消极和中性情感占主导,但随着轮次增加,积极情感比例上升、消极情感比例下降。相关性分析表明,各方面情感得分与总评审轮次负相关,其中实验、结果分析和研究意义相关度较高。对于经历四轮及以上评审的论文,后期轮次中方法/模型方面的情感得分与总轮次相关性更强。这些发现可指导作者在撰写和修改论文时重点关注这些方面,避免延长评审过程。未来研究将扩大语料范围、改进模型性能,并探索评审者差异和学科差异的影响。

本文发表在《Data and Information Management》。

**关键技术方法**
本研究主要采用了以下关键技术方法:(1)文本分割与预处理:利用结构规则识别(如“Reviewer Comment”标记)和人工标注(标注@@Round-i)将多轮评审文档按轮次分割,并进行噪声清洗和句子化处理;(2)方面提取与聚类:使用spaCy识别名词短语,采用DP算法(基于Stanford-CoreNLP的词性标注和句法依赖)提取候选方面词,选取高频词(前10%)后,利用Word2Vec(CBOW模式)生成200维词向量,通过AP聚类将语义相近的方面词聚为11个方面类别;(3)方面情感标注:制定详细标注指南,由三名标注员独立标注,采用交叉验证(Kappa系数0.63-0.66),最终获得5063条标注句子(积极1498、中性1652、消极1913);(4)深度学习情感分类模型:训练了多种模型,包括非BERT模型(LSTM、TD-LSTM、TC-LSTM、ATAE-LSTM、MEMNET、IAN、AOA)和BERT模型(AEN-BERT、BERT-SPC、LCF-BERT-CDM/CDW、LCFS-BERT-CDM/CDW、ASGCN-RoBERTa、PWCN-RoBERTa、RGAT-RoBERTa),最终选择LCF-BERT-CDM进行自动分类;(5)统计分析:计算方面级和文档级情感得分(公式为(积极数-消极数)/总情感数),采用Spearman相关分析检验情感得分与评审轮次的关系。数据来源为Nature Communications期刊2016-2020年已录用论文的公开评审评论。

**研究结果**
**4.1 方面情感自动分类结果分析**
将标注数据按6:2:2划分为训练、验证和测试集,采用Accuracy、Macro-P、Macro-R、Macro-F1作为评价指标。实验结果显示,基于BERT的模型显著优于非BERT模型,其中LCF-BERT-CDM取得最佳性能(Accuracy=82.72%,Macro-F1=82.65%),原因在于其引入了语义相对距离(Semantic Relative Distance, SeRD),强调方面词邻近词的影响。分类错误可能源于隐式情感表达和缺乏上下文句子信息。

**4.2 多轮评审评论的方面情感分析**
(1)方面情感分布(RQ1):热图显示,高频方面词(如data、figure、result、analysis)中消极和中性情感显著多于积极情感,表明评审者倾向于批评。方面类别中,“结果分析”(RES)、“研究价值”(IMP)和“方法模型”(MET)在各轮次中均包含较多情感内容,显示评审者的持续关注。最终轮次中,“结构语言”(SNL)的情感分布上升,表明后期评审更注重语言细节。
(2)方面情感变化(RQ2):对于两轮评审,所有方面类别的积极情感比例随轮次增加而上升,消极比例下降;对于三轮评审,大多数方面类似,但“方法模型”和“结论讨论”在第二轮出现积极比例下降而后显著上升,“图表”则相反。数据类(DAT)的积极比例增幅较大。总体变化幅度较小,说明第一轮评审的情感基调可能影响整个评审过程。

**4.3 评审情感与评审轮次的相关性**
(1)总体相关分析:文档级情感得分与评审轮次呈显著负相关(Spearman r=-0.147)。方面级中,所有方面类别均与轮次负相关(p<0.01),其中EXP(r=-0.168)和IMP(r=-0.163)相关性最高,SNL(r=-0.079)最低。注意数据仅包含已录用论文,存在幸存者偏差。
(2)分轮次相关分析:第一轮的相关性与总体一致,EXP、IMP、RES相关性较高;第二轮和第三轮中,各方面相关性普遍增强,TNF和CON与最终轮次的相关性增加;第四轮中,MET的相关性显著升高(r=-0.255),说明对方法/模型的消极评价可能导致更长评审周期。

**讨论与结论**
讨论部分总结了理论与应用意义:理论上强调轮次特征的必要性和细粒度方面情感分析的优势;实践上为作者提供指导,指出实验、研究价值等关键方面。局限性包括数据覆盖不全(仅已录用论文)、模型性能待提升、实验误差累积以及未控制变量。结论部分如前所述,确认了情感得分与轮次负相关,并指出关键方面。未来工作将扩展语料、改进模型、探索评审者差异和学科差异。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号