基于多模态知识层面表示学习的结构导向专利引用预测

《Pattern Recognition》：Multi-modal knowledge-level representation learning for structure-oriented patent citation prediction

　　

• •
  多模态组件图通过数字标签将文本三元组与图形部分连接起来。
• •
  知识级注意力机制对齐模态并抑制法律修辞噪声。
• •
  交叉注意力重排序实现面向结构的相似性推理。
• •
  PatCite被扩展为树状和图状样本类型。
• •
  图形在图状专利引用样本上带来最大的增益。

引言

专利授予新颖且具创造性的技术方案以法律保护。专利引用预测旨在识别可能挑战新专利申请新颖性的在先专利。该任务构成了专利审查的关键步骤[1]。准确的引用预测不仅提高审查效率，还支持侵权分析[2]和新产品开发[3]等下游应用。根据专利审查指南[4]，被引用的专利应披露新专利申请中要求保护的全部或部分技术组件。引用的有效性不仅取决于文本相似性，还取决于技术组件的结构相似性。这两个标准代表相关性的不同维度。如图1所示，专利1和专利2在文本上相似但结构不同，而专利1和专利3文本相似性较低却表现出一致的组件结构，使专利3成为有效引用。

然而，专利通过两种互补模态披露这种结构。权利要求文本以法律语言描述组件（例如将口红称为"有色棒状制品"），这掩盖了技术本质并引入语言噪声。附图描绘组件的空间排列和连接关系，并通过参考数字与文本绑定（例如数字"250"同时标记图形区域和文本中的"发射器"一词），如图2(a)所示。审查员经常查阅附图，因为它们能消除散文所掩盖的信息歧义。然而，现有引用预测方法 largely 忽视这种视觉模态，丢弃了审查员最依赖的结构证据。近年来全球专利申请量的扩展[5]导致组件结构多样性增加，需要更深入的分析。专利引用预测的现有研究分为三类：(1) 基于图的方法利用专利引用网络或知识图谱进行在先技术检索。图注意力网络可与NGCF[6]结合用于技术推荐。然而，这些方法对单个专利内细粒度结构组件关注有限。(2) 时间演化建模通过时间异构图神经网络[7]捕捉时间依赖的技术演化。但这些模型难以表示新颖性评估所需的组件级变化。(3) 语义增强方法，如XAI[8]，将文本特征与领域上下文对齐。这些方法在文档或词元级别操作，限制了精确的组件级对齐。

这种情况需要一种从文本和图形中恢复组件结构的方法。关键挑战包括：(1) 弥合非结构化文本、结构化组件和示意图形区域之间的跨模态粒度差距。(2) 缓解专利文本中广泛法律表述产生的语言噪声。(3) 捕捉文档级或组件级表示所忽略的组件依赖关系，以支持结构相似性推理。

为应对这些挑战，我们提出一种多模态知识级专利表示框架。首先，我们通过从文本中提取主语-谓语-宾语(SPO)三元组和从图形中提取视觉组件，然后通过参考数字匹配将它们融合，构建多模态组件图。其次，我们引入一种知识级注意力机制，在三元组级别计算注意力，并结合一种跨模态注意力将图形基础结构特征注入词元嵌入，共同对齐模态并缓解噪声。最后，我们引入一种交叉注意力重排序模块，为引用预测执行面向结构的相似性推理。为验证我们的方法，我们引入了PatCite，一个包含16,000个目标专利的数据集，涵盖国际专利分类(IPC)的所有八个部类。每个目标贡献一个被引用对和四个未被引用对，其组件结构获得一个目标级标签。当每个弱连通分量都是无环的且每个非根组件至多有一个父节点时，目标为树状结构；当出现跨分支关系、多父组件或环时，目标为图状结构。混合类型被分配给图状结构类。总体而言，41.5%的目标为图状结构。在动态全语料库协议下，我们的方法在树状和图状PatCite目标上分别进行评估，并与最强的微调文本基线进行比较。在GPair-NLP、GPair-H04、PatentMatch-A61和USPTO-A上的相应结果在表7中报告。控制消融分别测量三元组感知注意力、邻居感知注意力、图形基础跨模态建模和重排序的贡献。

我们的主要贡献总结如下：

• •
  我们提出一种多模态知识级专利表示框架，通过参考数字将权利要求文本和专利附图融合到统一的面向结构空间中。
• •
  我们引入一种跨模态知识级注意力机制、专利表示模型和面向推理的重排序模块。
• •
  我们引入PatCite，第一个捕捉专利组件结构多样性的引用数据集。它由16,000个人工标注目标专利和80,000个标记对组成；41.5%的目标表现出图状组件结构。
• •
  我们在动态、时间顺序、家族过滤的全语料库协议下在PatCite上评估该方法，并报告四个特定领域引用数据集上的补充结果。

章节摘要

引用预测方法

早期的引用预测通常使用文档级编码器表示专利[9]，将相关性简化为全球主题相似性。两阶段专利引用推荐展示了将高效召回与后续排序分离的效用[1]。基于图的方法通过构建专利或产品-专利图[10]、学习基于元路径的专利表示[11]、编码专利网络节点[12]、从权利要求中提取概念图来提供有用的结构先验

方法论

在本节中，我们提出我们的框架，该框架包含知识级注意力机制、专利表示模型和重排序模块。框架概述如图3所示。

数据集

我们基于中国国家知识产权局(CNIPA)记录构建PatCite。用于采样基准的单位是目标专利，而非目标-候选对。我们保留IPC八个部类中每个部类的2,000个目标专利，共计16,000个独特目标。目标选择在专利族级别进行：没有两个目标共享CNIPA家族标识符。目标公开日期从2016年1月至2025年12月。

对于每个目标 $P_t$，我们保留一个被引用

局限性与讨论

本研究受专利引用预测中的一个关键挑战启发：现有方法几乎完全依赖文本特征，因此无法捕捉技术组件的内部组织如何影响引用决策。关键的是，这种组织通过两种模态披露：权利要求文本和专利附图。然而，先前的工作完全丢弃了视觉通道。我们的框架通过将专利建模为多模态结构化知识单元来解决这两个差距

结论

本文提出一种多模态知识级专利表示框架，以解决专利引用预测中的一个关键挑战：专利组件的图状特性，通过权利要求文本和附图共同传达，限制了现有纯文本方法的有效性。我们通过通过参考数字将文本派生的三元组与图形派生的视觉组件连接起来，通过跨模态注意力融合它们，并执行面向结构的相似性来解决这个问题

CRediT作者贡献声明

蒋廷鑫： 撰写 - 初稿。张晓旺： 撰写 - 审阅和编辑。冯志勇： 撰写 - 审阅和编辑。

利益冲突声明

作者声明他们没有已知的竞争性经济利益或个人关系，这些利益或关系可能影响本文报告的工作。

致谢

资助

本工作得到国家自然科学基金(NSSFC)的资助[资助编号62372323]

蒋廷鑫|张晓旺|冯志勇