随着技术的迅速发展以及全球专利申请量的增加，知识产权系统对于知识管理和创新策略变得至关重要。专利既是一种法律保护工具，也是宝贵的技术情报来源，其中包含结构化的元数据和包括标题、摘要和权利要求在内的非结构化文本内容，这些内容在竞争情报、技术预测、创新政策和研发管理等领域得到了广泛的应用[1,2]。
为了便于高效检索、比较和分析专利，开发了诸如国际专利分类（IPC）和合作专利分类（CPC）之类的分类系统。这些系统为专利分配代码，以层次化的方式反映其技术内容。特别是CPC，提供了包含数千个多层次（部分、类别、子类、组和子组）的细粒度分类法。将专利准确分类到这些分类法中对于信息检索和下游分析至关重要。然而，由于专利文档的数量、长度、领域特异性以及分类的多标签性质，这一任务变得越来越复杂[3]。
传统的专利分类方法主要依赖于领域专家根据专利局制定的标准化规则和惯例进行手动标注。虽然这些方法准确，但成本高昂且耗时，因此不适合大规模或实时应用。早期的自动化尝试采用了基于规则的系统和关键词搜索技术，但召回率低且语义理解能力有限[4]。机器学习（ML）的出现为专利分类带来了新的可能性。经典方法如支持向量机（SVM）、决策树和k近邻（KNN）最初使用词袋（BoW）或TF-IDF表示法对文本内容进行编码[5,6]。尽管这些方法更具可扩展性，但往往无法捕捉专利语言中固有的深层语义结构。由于专利文档通常描述多个创新方面，分类问题自然演变为多标签分类（MLC）任务，即一个专利可以与多个CPC代码相关联。这在建模标签依赖性、管理标签不平衡和评估性能方面引入了额外的复杂性。转向MLC的另一个原因是观察到许多专利包含重叠的技术成分和跨学科创新，使得单标签分类在实际应用中不够适用[7]。为应对这些挑战，研究人员逐渐发展出针对专利数据独特特性的多标签分类框架。经典的MLC方法包括问题转换技术（例如，二元相关性[8]、分类器链[9]）和算法适应技术（例如，多标签KNN[10]）。然而，这些方法缺乏语义理解能力，无法建模上下文依赖性或标签之间的相互依赖性。
为了提高输入表示的表达能力，研究人员采用了深度学习方法，如卷积神经网络（CNN）、循环神经网络（RNN）和长短期记忆（LSTM）模型。最早的神经网络方法之一Deep Patent[11]表明，CNN可以通过利用预训练的词嵌入有效地从专利标题和摘要中提取区分性特征，在IPC子类预测方面超越了传统的机器学习基线。尽管如此，作者也指出CNN主要捕捉的是局部词模式，在建模长距离语义关系方面存在困难，这一限制因专利文档的长度和句法复杂性而加剧。先前的研究[12]将整个专利视为一个单一的平面文本序列，忽略了标签层次结构的内部信息，导致表示效果不佳。HMM-CPT[13]引入了一种层次化多实例多标签学习模型，将每个权利要求视为一个单独的实例，并共同建模它们对多个标签的贡献，旨在更好地捕捉文档内的结构。同时，基于变换器的架构，尤其是BERT[14]，开始彻底改变专利分类领域。变换器[15]允许丰富的上下文表示和长距离依赖性建模，这些特性特别适合法律和技术语言。一系列研究调查了在专利数据上微调BERT或其领域适应变体的方法[16]。提出了一种多任务学习方法，可以联合学习不同层次的层次化CPC标签，并指出简单的BERT微调无法充分考虑标签层次结构或层次间的依赖性。
除了输入表示之外，建模标签之间的关联也是近期文献中的核心关注点。TaxoClass[17]仅使用类别名称作为监督信号，通过自上而下的策略预测结果及其祖先，这会忽略CPC等分类法中固有的关联性和共现模式[18]。通过结合基于非局部注意力的图卷积网络来建模标签之间的语义依赖性，从而解决了这一问题[19]。类似地[19]，提出了一种动态分类法学习框架，该框架能够适应历史标签分布，认为静态分类法无法反映技术类别的时间演变。另一个近期趋势是采用基于实例的学习与语义嵌入相结合的方法。Sentence-BERT（SBERT）[20]及其衍生模型的日益流行反映了将表示学习与分类分离的趋势[21]。开发了PatentSBERTa，这是一种结合了增强型SBERT嵌入和K近邻分类器的混合模型，提出了一个可扩展且可解释的替代方案，特别是在可解释性和延迟至关重要的情况下。同样，对比学习技术也被引入以更好地组织嵌入空间[22,23]。提出将对比目标与KNN模型结合使用，认为基于相似性的分类可以同时实现可解释性和可扩展性，尽管通常会牺牲对全局文档结构或标签语义的建模。此外，如参考文献[24]所指出的，大多数对比方法未能结合标签语义，导致表示空间无法反映标签的接近性或层次结构。最近的工作中另一个趋势是使用标签感知的对比学习[25]。指出大多数对比方法仅关注实例级别的相似性，忽略了标签之间的语义和层次结构。他们提出联合学习实例和标签嵌入，并通过CPC分类法进行规范化，以更好地对齐语义表示[26]。强调技术分类应利用嵌入在标签分类法中的领域知识，并提出通过标签嵌入注意力模块将标签语义注入变换器编码器中。
总之，多标签专利分类的发展已经从基于词汇和特征的方法发展到越来越复杂的神经模型，这些模型试图模拟文档结构、标签依赖性和语义相似性。然而，与层次化标签建模和时间适应相关的限制仍然存在。因此，缺乏明确的标签层次结构建模继续阻碍了在层次化和多标签环境中的性能。尽管一些模型集成了层次感知的损失函数或标签图，但大多数模型仍然独立处理标签或依赖共现统计，无法捕捉结构化的依赖性。
在现实世界的专利分类场景中，这些限制进一步加剧，实际约束带来了超出方法论考虑之外的额外挑战。除了方法论的发展之外，这项研究的动机还源于大规模多标签专利分类和知识产权管理中的实际挑战。在现实世界的专利系统中，专利文档的快速增长和分类分类法的复杂性增加给高效准确的分类带来了重大挑战。所提出的框架不仅旨在提高分类性能，还旨在与专利检索、技术分析和知识管理的实际工作流程保持一致，为现实世界的专利分析系统提供可扩展和适应性强的解决方案。
为了解决这些挑战，我们提出了一种将全局和局部层次化信息整合到专利文本编码器中的多标签专利分类方法。对于全局层次化信息，我们提出了一个层次化标签感知的嵌入模块，将语义和层次化标签嵌入深度合并到专利文本表示中。对于局部层次化信息，我们设计了一个标签关联学习模块，以适应性地学习层次化分类树中IPC标签周围的水平 and 垂直方向的语义关联。总之，我们论文的贡献如下：
(1)我们提出了CLMCM，这是一种新颖的对比学习框架，通过将专利文本和层次化标签嵌入对齐在同一潜在空间中，有效捕捉了标签依赖性。
(2)我们开发了一个层次化标签关联学习模块，能够适应性地学习IPC分类树中水平和垂直方向的语义关联。
(3)我们设计了一个全局层次化标签感知的嵌入模块，将多级标签语义整合到专利文本表示中。
(4)广泛的实验表明，与最先进的方法相比，Mi-F1分数提高了1.6%，Ma-F1分数提高了1.0%。
