《Stats》:Zero-Inflated Data Clustering Using Graph Neural Networks with Zero-Inflated Likelihood
编辑推荐:
稀疏计数数据(如专利文档-关键词矩阵)常含过多零值与过离散现象,致使常规基于距离的聚类方法适用性下降。研究人员提出一种基于零膨胀似然的图神经聚类方法,采用零膨胀负二项分布(ZINB)似然,记为ZIL-GNC-ZINB。该方法将图平滑节点表示与簇特定零膨胀概率及
稀疏计数数据(如专利文档-关键词矩阵)常含过多零值与过离散现象,致使常规基于距离的聚类方法适用性下降。研究人员提出一种基于零膨胀似然的图神经聚类方法,采用零膨胀负二项分布(ZINB)似然,记为ZIL-GNC-ZINB。该方法将图平滑节点表示与簇特定零膨胀概率及计数强度参数相结合,通过在簇隶属度更新中引入图邻域信息,联合刻画结构零、过离散及观测间局部图关系。研究人员将其应用于由9416篇专利文档与82个降维关键词构成的量子计算专利文档-词项矩阵。相较于K-means、基于主成分分析(PCA)的K-means(PCA+K-means)及基于图卷积网络(GCN)的K-means(GCN+K-means),ZIL-GNC-ZINB在负对数似然(NLL)、零值受试者工作特征曲线下面积(Zero AUC)及零值布里尔分数(Zero Brier score)上均最优。所得簇揭示出可解释的量子计算子技术,包括光子量子比特控制、混合量子-经典计算、超导量子比特硬件及量子安全网络。在零比例0.5、0.7、0.9下的模拟实验进一步表明,该方法随零膨胀加剧而愈发有效;极端零膨胀设定下,ZIL-GNC-ZINB在NLL、Zero AUC、调整兰德指数(ARI)、归一化互信息(NMI)与聚类准确率(ACC)上均最优。结果表明,零膨胀似然建模与基于图的聚类相结合,为稀疏高维计数数据提供了高效且可解释的框架。
研究背景方面,量子计算作为战略技术,其专利文档蕴含技术竞争与创新轨迹信息。专利文档-关键词矩阵具有高维、稀疏、零膨胀与过离散特性,常规K-means或PCA+K-means仅依赖几何距离,无法区分结构零与抽样零,亦不建模计数生成机制;既有零膨胀混合模型(如ZINBMM)忽略文档间图邻域关系,而图神经聚类(如GCN+K-means)又未显式建模零膨胀似然。论文发表于《Stats》,研究人员针对此缺口提出ZIL-GNC-ZINB,旨在为稀疏零膨胀计数数据提供联合分布建模与图正则化的聚类框架。
关键技术方法上,研究人员从KIPRIS与USPTO采集量子计算专利,经文本挖掘得9416×82文档-关键词计数矩阵,剔除全零文档与极罕关键词;构建余弦相似k近邻(k=10)文档图,采用带自环对称归一化邻接矩阵做两步图传播获图平滑表示;每簇设零膨胀概率πkj、均值强度μkj与关键词特定离散参数θj,以ZINB似然(式11-16)刻画计数;隶属度更新融合ZINB对数似然与行归一化图邻域一致性项(λ调控),以EM型迭代估参(式22-27),K=5,λ候选{0.2,0.8}按NLL为主选优。
研究结果部分,4.1节评测指标定义NLL、Zero AUC、Zero Brier、ARI、NMI、ACC及归一化聚类熵。4.2节真实数据聚类中,ZIL-GNC-ZINB获最低NLL=0.5339、最高Zero AUC=0.8035、最低Zero Brier=0.0934,归一化熵0.976,簇大小1659/2298/2698/1410/1351;表3显示五簇分别对应光子量子比特控制测量、系统级量子器件操作建模、混合量子-经典处理器操作、超导量子比特硬件芯片、量子安全通信网络,校准图(图1-3)表明零概率校准良好、簇间稀疏异质可复现但高频正计数略有低估。4.3节模拟数据(n=500,p=82,K=5,零比例0.5/0.7/0.9各5重复)显示:零比例0.5时各法ARI/NMI/ACC均1.0000;0.7时ZIL-GNC-ZINB达ARI=0.9980,NMI=0.9972,ACC=0.9992最优;0.9极端下K-means降至ARI=0.3365,而ZIL-GNC-ZINB仍获NLL=0.4434、Zero AUC=0.6931、ARI=0.6622、NMI=0.6566、ACC=0.8540,表5证EM在90%零下NLL由0.4470降至0.4406、最大参变由0.3432降至0.0616,数值稳定。
讨论与结论翻译:本研究提出基于零膨胀似然的图神经聚类方法ZIL-GNC-ZINB,用于稀疏过离散计数聚类。该方法因专利关键词矩阵多零过离散而动机明确;常规K-means、PCA+K-means、GCN+K-means不显式建模零生成机制,故研究者结合图邻域与簇特定ZINB似然。ZIL-GNC-ZINB具三优势:以簇特定π建模过量零;以负二项分量处理过离散;以图邻域一致性更新隶属度。真实量子计算专利(9416文档82关键词)实验证其在NLL、Zero AUC、Zero Brier最优,并析出光子量子比特控制、系统级器件操作、混合量子-经典、超导硬件、量子安全五可解释子技术。模拟实验示零比例越高优势越大,0.9极端下各项指标均最优。局限含仅用量子专利、K固定5、kNN图简略、未端到端训练;未来可拓时序版、其他稀疏计数域、贝叶斯正则与注意力机制。该研究证零膨胀似然建模对稀疏专利计数聚类不可或缺,并为文档-关键词数据潜技术结构发现提供可用框架。