基于自然语言处理与多目标优化的自动化评审分配系统：数据驱动方法提升项目评审质量与效率

本研究针对传统人工分配评审专家存在主观性强、效率低及易产生利益冲突等问题，开发了一种集成自然语言处理（NLP）与多目标整数线性规划（ILP）的自动化评审分配系统。通过构建多语言提案-评审专家数据库，采用词嵌入技术（如BERT、TF/IDF）计算文本相似性，结合评审人学术能力（h-index）及历史评审表现量化评审人能力，最终通过优化模型实现相似性与能力评分最大化、工作量均衡及利益冲突规避。实验表明，该系统较人工分配显著提升了分配质量与效率，为基金资助机构提供了可扩展的自动化决策支持方案。

　　

在科研项目评审与学术会议论文评审过程中，如何将提案或稿件分配给最合适的专家评审人，一直是科研管理机构面临的核心挑战。传统人工分配方法不仅耗时费力，还容易受到主观认知偏差、人际关系和隐性利益冲突的影响，导致评审质量参差不齐，甚至影响科研资源的公平分配和资金使用效益。尤其当提案数量庞大、涉及多学科、多语言背景时，人工匹配难以全面考察评审人与提案间的语义相关性，也无法系统兼顾评审人的专业能力、历史表现与工作量平衡。尽管已有一些研究尝试利用信息化手段辅助分配，但多数方法要么仅侧重文本相似性计算，要么只做数学优化，缺乏将自然语言处理（NLP）与运筹学方法结合的综合框架，更鲜有研究能够处理多语言混存的实际语料。

针对这一现实需求，来自伊斯坦布尔理工大学工业工程系的Meltem Aksoy、Seda Yanik和Mehmet Fatih Amasyali在《Intelligent Systems with Applications》发表了一项研究，提出了一种基于自然语言处理与多目标优化的数据驱动型评审分配系统。该研究旨在通过自动化、系统化的方法，提升评审分配的客观性、效率与公平性。

为开展本项研究，作者团队主要采用了以下几种关键方法：首先，从土耳其伊斯坦布尔发展署（IDA）获取了2012–2021年间2434份项目提案和575位评审专家的多语言文本数据，包括提案摘要与评审人已发表文献；其次，应用多种词嵌入模型（包括TF/IDF、FastText、BERT、T5、XLM-R等）进行文本向量化，并计算提案-评审人间的余弦相似度；第三，提出一种新的评审人能力评分模型，综合其h指数和历史评审表现（包括评审一致性、及时性与集体决策吻合度）；最后，构建多目标整数线性规划（ILP）模型，在考虑评审需求、工作量上限、预算与利益冲突等约束条件下，实现相似性与能力最大化的分配优化，并进一步探讨了“最大-最小”公平分配策略。

3.1. 基于NLP方法的相似性评分计算

研究团队比较了四种多语言处理策略，包括语种翻译与多语言嵌入模型。结果显示，在使用BERT处理土耳其语文本和使用T5处理英语文本时，人工验证的相似性评分最高，而多语言模型如XLM-R表现接近但仍存在波动。说明在单语环境下，基于Transformer的模型更能捕捉语义相关性。

3.2. 评审人能力评分计算

作者提出能力评分A_j由评审人历史表现E_j和h指数H_j加权得出，其中历史表现综合了评审人在“独立评审”“第三方评审”和“委员会评审”三个阶段中的一致性、及时性及与最终集体决策的吻合程度。该评分机制首次将评审绩效量化纳入分配模型。

3.3. 约束条件与优化模型

系统在分配中考虑了多项现实约束，包括每份提案需指定至少两位评审人、每位评审人工作量上限、差旅与评审预算限制、避免机构利益冲突（如评审人不得评审本单位提案）。在此基础上，构建了包括基础模型（Basis）、带工作量平衡的模型（Balance-1与Balance-2）和多目标最大化与最大-最小公平模型。

4.4. 最大化加总与最大-最小方法的对比结果

研究表明，基于BERT嵌入的Basis模型在加总相似性与能力得分上表现最优，而Balance-1模型在均衡评审人工作量方面更出色。相比之下，“最大-最小”方法虽然加总得分略降，但对得分最低的20%提案–评审人对，相似性与能力得分平均提高了3.27%与9.49%，显著改善最差分配情况，体现出更好的公平性。

系统与人工分配及TPMS基准的比较

与人工分配相比，自动化系统在200份提案的测试样本上平均提升约20.31%的相似性得分与13.99%的能力得分。与多伦多论文匹配系统（TPMS）相比，本研究模型在相似性、能力评价和工作量平衡方面均表现更优。

本研究通过集成自然语言处理与优化建模，构建出一套高效、公平且可扩展的自动化评审分配系统。它不仅显著提升了提案-评审人匹配的质量，还实现了多目标之间的有效权衡，包括相似性、评审人能力、工作量均衡和利益冲突规避。最大-最小优化策略的引入进一步保障了处于劣势位置的提案能够获得更合理的评审机会，从而提升整体评审的公平性。

该系统在实际应用中可大幅节省人力与时间成本，提高基金分配的科学性和效益，尤其适用于大型科研资助机构、学术会议及期刊的评审需求。未来，可通过嵌入生成式大语言模型（如GPT-4）、改进公平性约束、扩展至跨学科评审情景，进一步提升系统的适用性与稳健性。

该研究为科研管理领域的自动化决策支持提供了重要范例，彰显了工业工程、自然语言处理与数据科学在科研评价系统中的深度融合与应用前景。