面向零膨胀专利关键词计数数据的潜在结构学习机器学习方法

《Computers》：A Machine Learning Approach to Latent Structure Learning for Zero-Inflated Patent Keyword Count Data

　　

专利文献-关键词计数数据通常具有高维、稀疏且以零项为主的特点，这使得同时重构关键词频率和识别有意义的技术结构变得困难。本研究提出了一种面向零膨胀专利关键词计数数据的潜在结构学习机器学习方法。研究人员提出的零门控潜在因子模型（ZG-LFM）结合了非负矩阵分解（NMF）与特定于关键词的逻辑发生模型。NMF用于提取可解释的文献-因子和因子-关键词表示，而发生率门控则估计每个关键词出现在特定专利文献中的概率。该方法在一个特定领域的初步案例研究中进行了评估，该研究使用了由9434份量子计算专利文献和175个关键词构建的文献-关键词矩阵，其中87.60%的条目为零。预测性能通过均方根误差（RMSE）、平均绝对误差（MAE）以及在不同数量的潜在因子下的受试者操作特征曲线下面积（AUC）进行评估。实验结果表明，NMF提供了更准确的关键词计数重构，而提出的模型在区分零和非零关键词条目方面始终取得更好的效果。这些发现表明，潜在计数重构和关键词发生率建模为分析稀疏专利数据提供了互补信息。学习到的潜在因子进一步揭示了连贯的量子计算子领域，包括量子-经典混合执行、量子机器学习、量子态测量与误差分析、量子密码学、超导芯片、量子电路、光学控制、量子比特器件和优化算法。因此，提出的框架在改进零膨胀专利数据中关键词发生模式识别的同时，提供了可解释的潜在技术结构。这些发现证明了该框架在所分析的量子计算语料库中的可行性；其在其他技术领域的泛化能力仍有待评估。

专利文献提供了技术发明的系统记录，被广泛用于技术情报、研发规划和创新管理。随着自然语言处理（NLP）和机器学习的发展，专利分析已从传统的词频分析扩展到分类、检索和相似性分析等领域。在量子计算等快速发展领域，专利分析尤为重要，但专利文献-关键词计数矩阵通常具有高维、高度稀疏且被零项主导的特点。这种极端不平衡不仅降低了传统统计和机器学习模型的解释与预测性能，还可能掩盖关键词间的潜在关系。传统零膨胀模型（如零膨胀泊松（ZIP）和零膨胀负二项（ZINB）模型）虽然能区分零生成与计数生成机制，但主要针对个体响应变量。Jeong等人（2024）引入了学习零膨胀结果潜在不平衡机制的提升方法，Ro?anec等人（2025）将其重新表述为双重机器学习任务，Ben Khedher和Yun开发了可解释的机器学习跨栏模型，而Batardière等人（2025）扩展了多元泊松对数正态分布族。尽管如此，这些方法未直接针对整个矩阵学习可解释的潜在结构。而基于非负矩阵分解（NMF）的潜在因子模型虽能提取可加性技术组件，却未显式建模关键词在特定文献中发生的概率。为填补这一方法学空白，研究人员提出了一种结合矩阵级NMF与关键词特定发生率建模的统一方法。该研究发表在《Computers》期刊，对于提取稀疏专利数据中可解释的技术结构具有重要的学术与实践意义。

本研究使用的样本队列来源于9434份量子计算专利文献和175个关键词构建的矩阵。在关键技术方法上，研究人员首先采用非负矩阵分解（NMF）从训练矩阵X中提取文献-因子矩阵W和因子-关键词矩阵H，并用非负最小二乘法固定H以估计测试集得分W_test；随后，针对每个关键词v构建二项逻辑回归模型，基于文献-因子得分估计其发生率p_dv；最后，通过经验发生率π_v归一化与截断生成调整因子，对NMF重构计数进行调节，并采用均方根误差（RMSE）、平均绝对误差（MAE）、受试者操作特征曲线下面积（AUC）及归一化逐点互信息（NPMI）评估性能。

Data Description
通过构建包含9434份专利文献和175个关键词的计数矩阵，研究人员发现其中87.60%的条目为零，总平均计数为0.3014，非零计数均值为2.4302。这些描述性统计结果证实了该数据集的高度稀疏性及被零项主导的特征。此外，通过对比总体零比例与基于泊松分布的隐含零概率，提供了简单齐次泊松分布不适用的初步证据，验证了零膨胀模型处理的必要性。

Experimental Setting and Evaluation Metrics
研究人员在文献层面将数据集划分为80%的训练集和20%的测试集。预测性能从两个互补角度进行评估：使用RMSE和MAE评估计数重构准确性，使用AUC评估区分零与非零条目的能力。此外，采用NPMI量化代表性关键词间的文档级关联，以补充对潜在因子语义连贯性的定量评估。同时进行了2000次配对文献级自举分析，以构建性能差异的置信区间。

Experiments and Results
实验比较了不同潜在因子数量下的基线NMF模型与提出的零门控潜在因子模型（ZG-LFM）。结果表明，随着因子数量增加，NMF的RMSE、MAE下降且AUC上升，在十因子时表现最优。ZG-LFM在计数重构（RMSE和MAE）上的表现不如NMF，但在区分零与非零关键词条目的AUC指标上始终优于NMF。在十因子设置下，ZG-LFM的AUC为0.8475，高于NMF的0.8356。配对自举分析进一步证实，ZG-LFM在计数预测误差上始终高于NMF，而在AUC上的差异置信区间完全大于零，表明其在发生率判别上的优势是统计稳定但幅度适中的。这揭示了计数重构与发生率判别之间的互补性权衡。

Implications for Quantum Computing Technology Analysis
选取的十因子模型揭示了量子计算专利语料库中连贯的技术子领域，包括混合量子-经典执行、量子机器学习、量子态测量与误差分析、量子密码学、超导量子芯片、量子电路、光学与信号控制、量子比特器件架构以及量子优化与资源分配。NPMI分析显示所有因子均具有正的语义连贯性，证实了代表性关键词在文档中倾向于共现。该框架不仅能支持专利分类与技术图谱构建，也有助于关键词推荐与文献标签化。

在讨论部分，研究人员指出当前的发生率调整机制虽然改善了AUC，但未能改善RMSE和MAE，表明其更适合发生率判别而非计数幅度预测。此外，研究使用了单一的训练-测试划分，且未进行正式的因子稳定性分析或领域专家独立验证。在结论部分，研究人员总结指出，专利文献-关键词矩阵的高维、稀疏和零膨胀特征使得传统模型难以同时重构词频和区分关键词的有无。本研究提出的ZG-LFM框架结合了NMF与文献特定关键词发生率门控，在保留非负潜在因子可解释性的同时，融入了零与非零发生结构的信息。通过量子计算专利数据的评估，证实NMF在重构计数幅度上更有效，而发生率门控在区分零与非零条目上表现更佳，两者提供了互补的分析信息。提取的十因子结构成功揭示了量子计算的子领域。该研究为分析稀疏零膨胀专利关键词数据提供了可解释的集成框架，未来的工作应探索联合估计的零膨胀潜在因子似然模型，并扩展至其他技术领域以验证其泛化能力。