基于大语言模型的层次化多标签专利分类方法优化研究

为解决层次化多标签专利分类的准确性难题，研究人员提出了一种融合大语言模型(LLMs)的创新流程。通过量化技术和低秩适配(LoRA)优化权重更新，在USPTO-70k数据集上实现了精度、召回率和F1 -score的显著提升，为复杂专利分类系统提供了高效解决方案。

　　

专利分类是创新技术保护的核心环节，但传统方法在处理多标签、层次化分类任务时面临巨大挑战。以国际专利分类体系(CPC)为例，其树状结构包含600余个相互关联的类别，现有自动化系统常因忽略层级约束导致错误传递。更棘手的是，不同专利局的代码分配存在差异，加之文本挖掘的复杂性，使得分类准确率长期停滞。

针对这一难题，西班牙加泰罗尼亚理工大学的研究团队在《World Patent Information》发表论文，提出融合大语言模型(LLMs)的层次化分类新范式。研究采用LLaMA-3和ELECTRA模型作为基础架构，创新性地引入低秩适配(LoRA)技术，仅通过调整低秩矩阵而非全参数更新，在USPTO-70k数据集上实现了突破性进展。实验显示，该方法在保持计算效率的同时，关键指标较现有技术提升显著。

关键技术包括：1) 基于CPC图谱的层次约束建模，将分类头与 taxonomy 节点对应；2) 采用8-bit量化压缩模型体积；3) 多任务学习框架同步优化各级标签预测。数据来源于USPTO 2006-2017年的专利训练集与2018年测试集，通过时空划分确保验证可靠性。

背景
专利分类系统CPC由美欧专利局联合开发，其层次化特性要求预测必须满足"父类包含子类"的严格约束。传统方法如扁平化处理会破坏这种关联，而级联分类又易导致错误累积。

方法学
研究构建了模块化流水线：输入专利摘要经Transformer编码后，由分层分类头并行预测。关键创新是采用LoRA冻结预训练权重，仅更新注入的低秩矩阵，参数效率提升80%。

实验结果
LLaMA-3-QLoRA模型在三级分类中表现突出：宏观F₁
达0.72，较基线提升15%。ELECTRA-base在罕见类别识别上更具优势，证明架构选择需结合实际需求。

讨论
该研究首次验证了LLMs在层次化专利分类的适用性。量化技术使模型内存占用减少4倍，而多任务框架有效捕捉了标签间依赖关系。未来可扩展至IPC等更多分类体系。

这项工作的核心价值在于：1) 为数据稀缺场景下的LLMs微调提供范例；2) 开创性地将层次约束显式编码至模型架构；3) 其模块化设计支持快速适配不同专利体系，对提升全球专利审查效率具有重要实践意义。