通过动态历史引用的非采样嵌入实现即时本地引用推荐

《Neurocomputing》：Instant Local Citation Recommendation via Non-sampling Embedding of Dynamic Historical Citations

　　

摘要
随着科学出版物数量的不断增长，在文稿起草过程中准确高效地推荐引用变得愈发重要。现有的局部引用推荐方法通过静态全局信息（如完整参考文献列表）增强局部上下文，并假设嵌入模型进行难负样本采样训练。这些假设与实际学术写作场景中动态推荐和不可见负样本的特性不符。我们提出了一种通过动态历史引用的非采样嵌入来实现的即时局部引用推荐任务。首先，我们排除了写作期间不可见的检索信息，将局部引用推荐重新定义为即时引用推荐，并引入动态历史引用，纳入作者起草过程中的时间顺序引用轨迹。其次，为了在不稀释局部修辞意图的情况下有效整合动态历史引用，我们提出了一种混合上下文感知轨迹注意力机制，根据当前意图动态评估历史引用。第三，我们用一种假负感知非采样策略取代了难负样本采样和标准批内对比学习，该策略利用高置信度相似度惩罚掩码，明确保护未观察但高度相关的文章免受错误惩罚。实验表明，用动态历史引用丰富局部上下文可使整体 MRR 提升 3.42%，在连续引用场景中（局部文本上下文显著重叠时），这一提升幅度达到 11.24%。此外，假负感知非采样策略实现了 0.1299 的整体 MRR 和 0.5931 的 R@100 得分，优于传统的难负样本采样基线。相机图像传感器和量子力学领域的定性案例研究进一步证实，所提出的框架成功利用动态历史轨迹作为语义桥梁，使得在传统模型仅依赖局部文本片段难以区分细微逻辑进展的情况下，能够实现准确的顶部排名检索。

引言
正确的引用是科学交流的基石，它服务于将新主张建立在现有知识之上、承认前人的贡献并引导读者找到相关来源。然而，随着科学文献呈指数级增长，研究人员在检索与其研究相关的工作中面临越来越大的困难 [25]。为特定陈述查找最适当引用的任务往往会打断研究和写作的流程，要求作者在写作和搜索之间切换上下文。因此，引用推荐和人工智能驱动的自动化工具已成为帮助研究人员高效识别潜在相关文章的基本工具。此外，缺乏严格验证的人工智能工具可能会生成错误或不当的引用，从而损害科学交流的完整性。因此，使推荐框架与可信度保持一致至关重要，尤其是在特定领域的检索中 [37]。

通常，引用推荐方法根据研究人员的需求和使用的检索信息分为两类：全局引用推荐和局部引用推荐。全局引用推荐通常服务于探索与已完成作品或广泛研究兴趣相关主题的研究人员 [2]。它依赖于反映手稿整体意图和结构的全局上下文信息，如标题、摘要和完整引用列表 [47]。这些信息准确反映了文章的整体语义范围，但通常在手稿正文定稿后才使用 [46]。局部引用推荐是本研究的重点，旨在协助作者在起草过程中为特定句子寻找支持性参考文献 [29]。其核心检索输入是局部上下文，具体来说是引用上下文，即目标引用位置紧邻的句子 [27], [43]。该上下文根据推荐目标动态变化，反映了作者即时的写作意图，从而区别于全局检索。

为了增强局部引用推荐的有效性，近期的研究经常纳入全局信息以改进局部引用推荐。它们将摘要或完整引用列表等静态全局上下文作为补充输入整合到模型中，假设这些信息唾手可得 [15], [46], [48]。然而，这种静态检索输入信息与实际写作场景的即时性相冲突。如图 1 所示，我们以 Cai 等人的文章 [4] 为例，发布后可用的静态信息与写作期间可用的动态信息之间存在区别。虽然全局上下文相对稳定，但引用序列是一个不断演变的轨迹。例如，给定一个特定的目标引用"[16]"，有效的局部上下文包括历史引用序列 {[38], [47], [31], [27], [29]}。关键在于，这个上下文是即时变化的：如果推荐目标是较早的引用"[29]"，那么尽管随后的引用"[16]"存在于静态完整引用列表中，但在即时写作中它尚未存在。这一机制反映了写作是一个动态、演变的过程，而不是静态快照。在现实的起草场景中，作为参考文献呈现的“完整引用”尚不存在，摘要往往也未完成 [23]。在这种静态未来信息上训练的模型获得了人为的高性能，这在实际写作中无法复制。更关键的是，作者经常连续引用多篇文章或在高度聚集的文本邻近范围内引用以支持单一主张，如连续引用"[31]"和"[27]"所示。在这种情况下，这些目标的局部上下文几乎相同。仅依赖高度相似的局部上下文会使模型无法区分作者逻辑的细微进展。

除了检索输入信息的局限性外，现有模型的嵌入范式也面临挑战。当前的局部引用推荐方法通常遵循两阶段的“先筛选后重排”流程 [46]。筛选阶段首先使用通用、未微调的模型检索一组粗略候选项，随后是重排阶段对这些候选项进行排序。为了训练重排器，先前的研究采用负样本采样策略：它们将筛选阶段排名靠前的文章（排除真实引用）视为“难负样本”，并使用（锚点，正样本，负样本）三元组损失函数优化模型 [15], [27], [29], [45]。然而，由于引用推荐的隐式性质，这种采样策略存在缺陷。与产品推荐中可观察的负面偏好（例如给出低评分或忽略显示的商品）不同，学术写作没有留下“拒绝”引用的记录。作者通常只检查一小部分相关文献 [23]。因此，未经验证的文章不一定是“负样本”，它们仅仅是“未见过”。

如图 2 所示，推荐任务大致可分为显式和隐式场景，取决于是否能明确观察到负面交互。引用推荐本质上属于隐式场景。在这种场景下，手动采样难负样本的方法不可避免地会将潜在正样本与真实负样本混合，导致假负样本采样，如红色虚线圆圈所示。表示学习通常绕过显式挖掘的难负样本，转而采用大规模批内对比学习以充分利用训练数据。然而，如果直接将标准批内对比学习应用于密集的科学语料库，仍然存在一个关键问题：它不可避免地迫使模型将高度相似的高质量候选文章（蓝点带绿边）推开，仅仅因为它们在当前实际引用中未被观察。

为了弥合这一差距，我们引入动态历史引用作为推荐信息。我们将动态历史引用定义为手稿截至当前时刻引用的参考文献序列，如图 1 所示。我们还引入了一种上下文感知轨迹注意力（CATA）机制，根据历史引用相对于局部上下文的位置和相似度动态调整其权重。与静态完整引用列表不同，历史引用随着作者写作而动态演变。它形成一个随目标推荐变化而动态变化的时间顺序序列，提供有价值的即时信号。该轨迹通过位置编码隐式嵌入，并通过我们的注意力模块显式评估，以反映作者逻辑的连续性。此外，我们提出了一种专为引用推荐的隐式反馈性质量身定制的假负感知非采样（FNANS）策略。在表示学习的背景下，常见的非采样通常指放弃显式挖掘的难负样本，转而采用批内对比学习。对于密集的科学语料库，直接应用标准对比学习也可能将高度相关但未观察到的文章采样为负样本，从而产生池化偏差。因此，我们将其升级为 FNANS 策略。通过实施高置信度相似度惩罚掩码，FNANS 明确保护未观察但高度相关的文章免受错误分类为负样本。

总之，我们的主要贡献如下：
(i) 我们重新定义局部引用推荐为即时引用推荐，确保推荐检索输入与研究人员实时起草工作时可用的动态信息严格对齐。
(ii) 我们提出了一种 CATA 网络，利用动态加权的历史引用而不是静态引用列表，以使检索输入与实际写作场景对齐。通过建模引用的实时积累，CATA 捕获了作者不断演变的写作轨迹，并随着引用的变化调整历史引用的权重。
(iii) 我们引入了 FNANS，作为一种专为引用推荐的隐式反馈性质量身定制的特殊非采样训练策略。与推开相似未观察样本的难负样本采样不同，FNANS 通过采用逆向正则化范式修改了标准对比学习：它利用高置信度相似度惩罚掩码明确保护高度相关但未观察到的文章。

本文其余部分组织如下：第 2 节全面回顾了最先进的引用检索信息和推荐范式。第 3 节形式化了即时引用推荐任务，并详细介绍了所提出的 CATA 框架、FNANS 优化策略和渐进式训练框架。第 4 节展示了大规模实验设置、定量消融评估、超参数分析和定性领域案例研究。最后，第 5 节总结了论文并规划了未来的研究方向。

章节片段
文献综述
引用推荐依赖于有效捕捉作者意图并高效从海量语料库中检索相关文献。本节提供了对最先进方法的全面回顾，按其信息来源和算法范式组织。我们首先讨论检索信息，分析不同研究如何建模写作上下文以及利用不可用未来信息的局限性。然后我们探讨嵌入算法，重点在于

问题定义
为了与作者的实际起草工作流程保持一致，我们严格限制可用信息为作者在插入引用时刻可访问的内容。在起草阶段，最终手稿标题、摘要或完整引用列表等全局特征是不完整或不可用的。

设 S 表示一篇未完成的手稿。在写作时间戳 t，作者插入引用标记，我们将参考文献标记如“[#]"替换为特殊标记如

方法
我们提出了一种专为实时起草约束量身定制的统一检索框架。如图 2 所示，该方法包括形式化即时局部引用推荐输入，整合混合 CATA 架构以动态加权不断演变的历史引用，并通过 FNANS 解决隐式反馈中的假负样本问题。

实验
我们首先详细介绍了大规模 arXiv 库上的数据选择和预处理工作流。其次，我们展示了与最先进基线的广泛定量比较，并进行了严格的组件消融研究，以隔离 CATA 网络和 FNANS 策略带来的单独经验增益。这伴随着对关键超参数的彻底敏感性分析。最后，我们展示了相机图像

结论
本研究从研究人员实际写作需求的角度重新审视了即时引用推荐任务。我们认为，许多现有方法严重依赖摘要和完整参考文献列表等全局信息，但这些信号在写作期间通常不可用，并且经常引入与作者即时修辞意图不一致的信息。此外，信息检索领域的最新发现表明，常用的难负样本采样往往

利益冲突/竞争利益
作者没有需要披露的相关财务或非财务利益。

资助
本研究得到中国国家自然科学基金（批准号 72374103）和中国索引学会（批准号 CSI24C10）的支持。

CRediT 作者贡献声明
李昊宇：写作 – 初稿，可视化，验证，软件，方法论，调查。张金柱：写作 – 审阅与编辑，验证，监督，资金获取，概念化。

利益冲突声明
作者声明他们没有已知的竞争财务利益或个人关系可能会影响本文中报告的工作。

李昊宇是南京科技大学管理科学与工程专业的博士研究生。他获得了山东大学统计学学士学位。他的研究兴趣包括大语言模型开发、数据挖掘和信息推荐。

李昊宇 | 张金柱