SemNovel——一种利用大型语言模型嵌入来检测生物医学出版物语义新颖性的新方法

《Journal of Biomedical Informatics》：SemNovel – A new approach to detecting semantic novelty of biomedical publications using embeddings of large language models

语义新颖性评估方法SemNovel利用LLM嵌入构建生物医学语义宇宙，通过计算文献与先前研究的语义距离量化新颖性，其评分与未来引用量显著正相关（Spearman ρ=0.1782，p<0.001），并有效识别诺贝尔奖相关突破性研究，同时揭示科学趋势与跨学科合作。

　　SemNovel 作为一种全新的方法，旨在通过基于大型语言模型（LLMs）的文本嵌入技术，量化生物医学文献中的语义新颖性。这一方法的提出，正是为了应对当前科学文献快速增加所带来的挑战。在生物医学领域，每年新增的文献数量超过一百万篇，使得研究人员难以及时掌握最新的研究动态和趋势。传统的文献评价方法，如期刊影响因子（JIF）和引用次数，虽然能够衡量研究成果的影响力，但往往忽略了新颖性的本质。因此，研究者需要一种更准确、更全面的方式来评估文献的创新程度，而 SemNovel 正是为了解决这一问题而设计的。

在生物医学研究中，新颖性可以体现在多个方面。它可能意味着发现了新的基因、蛋白质或药物，也可能涉及对未知现象的识别，或是开发出新的研究方法和理论。此外，新颖性还可能表现为对现有科学范式的改进。这些不同的表现形式表明，新颖性不仅仅是内容的新颖，还涉及研究的深度和广度。然而，目前还没有一个广泛认可的指标能够准确衡量这些方面的新颖性。现有的方法大多依赖于孤立的文章特征，如关键词、MeSH 术语或参考文献，这些特征虽然能够提供一定的信息，但可能无法全面反映文章的语义内容和整体贡献。

SemNovel 的核心思想是利用语义嵌入技术，构建一个能够反映生物医学知识空间的“语义宇宙”。通过将所有 PubMed 文章嵌入到这个高维空间中，可以更准确地衡量每篇文章与之前文献之间的语义距离，从而判断其新颖性。这种方法不仅考虑了文章的孤立特征，还整合了文章的整体语义内容，使得评估更加全面和细致。具体来说，SemNovel 采用了 LLM-embedder（BAAI/llm-embedder）模型，该模型以 Llama2-7B-Chat 为基础，并结合 BGE base 作为嵌入的骨干结构。这样的设计使得 SemNovel 能够捕捉到更丰富的语义信息，从而更准确地反映文章的创新程度。

为了进一步验证 SemNovel 的有效性，研究者通过其与未来研究影响力之间的相关性进行了评估。结果表明，SemNovel 与引用次数之间的相关性显著，且不受期刊影响因子、发表年份和作者数量等因素的影响。这一发现表明，SemNovel 能够在较短时间内识别出具有高度创新性的研究。此外，研究者还对 SemNovel 在不同领域的应用进行了探索，例如在 PD-1/PD-L1 研究领域中，SemNovel 能够揭示研究趋势的变化，并强调跨学科合作在提高生物医学研究创新性中的重要性。这些结果不仅验证了 SemNovel 的有效性，也展示了其在生物医学研究中的广泛应用前景。

SemNovel 的另一个重要优势是其交互性。研究者开发了一个交互式界面，允许用户分析和探索 SemNovel 评分。这一工具的推出，使得研究人员能够更直观地了解文献的创新程度，并为未来的科研方向提供参考。通过可视化技术，如 t-distributed Stochastic Neighbor Embedding（t-SNE），研究者能够将整个 PubMed 数据库投射到一个二维的“语义宇宙”中，从而更清晰地展示文献之间的关系和分布。这种可视化不仅有助于理解文献的创新性，还能帮助研究人员发现潜在的研究热点和趋势。

在构建“语义宇宙”时，研究者采用了多种方法，包括对文章标题和摘要的语义分析，以及对文献发表年份的可视化。通过这些方法，可以更全面地了解文献的分布情况和时间变化趋势。例如，在图 4A 中，研究者展示了 SemNovel 评分随时间变化的曲线，发现其平均值呈现出逐渐下降的趋势，但存在一定的波动。这一趋势表明，随着时间的推移，生物医学研究的创新性可能在某些领域有所减弱，但在其他领域则保持增长。这种分析不仅有助于理解当前的研究动态，也为未来的科研方向提供了参考。

SemNovel 的应用不仅限于评估文献的创新性，还能够帮助研究人员追踪科学发展的轨迹。通过分析文献之间的语义距离，可以发现哪些研究在推动科学进步方面发挥了重要作用。例如，在 PD-1/PD-L1 研究领域中，SemNovel 能够揭示该领域研究趋势的变化，并展示跨学科合作如何促进了该领域的创新。这种分析不仅有助于理解科学研究的演进过程，也为政策制定者和科研管理者提供了决策支持。

此外，SemNovel 还能够帮助研究人员识别具有高度创新性的文献，如诺贝尔奖获奖研究。通过与引用次数和诺贝尔奖研究之间的对比分析，研究者发现 SemNovel 在识别这些文献方面表现出色，能够有效区分出那些具有突破性贡献的研究。这一结果不仅验证了 SemNovel 的有效性，也表明其在评估高影响力研究方面具有重要价值。

在方法上，SemNovel 采用了基于 LLM 的文本嵌入技术，这使得其能够捕捉到更丰富的语义信息。相比于传统的基于关键词或参考文献的方法，这种技术能够更全面地反映文章的创新性。通过将文章投射到一个高维的语义空间中，研究者可以更直观地理解文章之间的关系和贡献。这种空间不仅能够展示文献的分布情况，还能揭示文献之间的语义距离，从而帮助研究人员识别出具有高度创新性的研究。

在实际应用中，SemNovel 通过其与未来研究影响力之间的相关性，为研究人员提供了一种新的评估工具。相比于传统的评估方法，SemNovel 能够在较短时间内识别出具有高度创新性的研究，从而为未来的科研方向提供参考。这种能力对于新兴的研究领域尤为重要，因为这些领域的研究往往需要快速识别出具有突破性的成果，以便及时进行后续研究和应用。

SemNovel 的另一个重要优势是其可扩展性。通过将整个 PubMed 数据库投射到一个统一的语义空间中，研究者能够处理大规模的数据集，并为不同领域的研究提供统一的评估标准。这种可扩展性不仅使得 SemNovel 能够应用于不同的研究领域，也为其在未来的进一步发展提供了可能。

在实际应用中，SemNovel 还能够帮助研究人员发现潜在的研究热点和趋势。通过分析文献之间的语义距离，可以发现哪些研究在推动科学进步方面发挥了重要作用。这种分析不仅有助于理解科学研究的演进过程，也为政策制定者和科研管理者提供了决策支持。

总的来说，SemNovel 作为一种基于 LLM 的文本嵌入技术，为生物医学研究提供了一种全新的评估方法。通过将文献投射到一个高维的语义空间中，研究者能够更全面地衡量文献的创新性，并为未来的科研方向提供参考。这种方法不仅具有较高的准确性，还具备较强的可扩展性和交互性，使其在生物医学研究中具有广泛的应用前景。