《Decision Analytics Journal》:An adaptive quantum-classical approach for scalable clustering and analytical decision-making
编辑推荐:
聚类仍然是无监督学习的基石,然而经典算法经常难以应对现代数据集固有的复杂性,例如高维度、非线性可分性以及显著的噪声。本文提出了混合量子-经典聚类算法(HQCA),这是一种利用量子计算的能力和经典机器学习的鲁棒性来克服这些限制的新颖框架。HQCA集成了量子核估计
聚类仍然是无监督学习的基石,然而经典算法经常难以应对现代数据集固有的复杂性,例如高维度、非线性可分性以及显著的噪声。本文提出了混合量子-经典聚类算法(HQCA),这是一种利用量子计算的能力和经典机器学习的鲁棒性来克服这些限制的新颖框架。HQCA集成了量子核估计阶段,利用参数化量子电路将数据投影到高维Hilbert空间中,从而在经典核失效的地方增强聚类的可分性。此外,它采用基于量子近似优化算法(QAOA)的量子增强优化例程来确定最佳聚类质心,从而减轻了如K-Means等算法遇到的局部极小值的常见陷阱。该算法还结合了量子启发的间隙统计量来自主确定最佳聚类数。研究人员在UCI存储库的多个真实基准数据集上,如Iris、Wine和高维图像数据集(Fashion-MNIST),严格评估了HQCA与最先进的经典聚类方法的对比。研究人员的实验结果表明,HQCA在包括纯度、轮廓分数和调整兰德指数(ARI)在内的多个评估指标上始终取得卓越的性能,特别是在涉及复杂、非线性数据流形的场景中表现突出。所提出的混合范式不仅标志着聚类准确性和鲁棒性的实质性飞跃,而且为在当前含噪中等规模量子(NISQ)设备中将其用于实际数据分析工作流程提供了一条可扩展的途径,标志着迈向无监督学习潜在量子优势的关键一步。研究人员强调,所证明的优势是算法和表示上的优势,而不是渐近运行时间的优势。
聚类作为数据挖掘和无监督学习中的基础问题,在将一组对象分组使得同组对象比不同组对象更具相似性方面发挥着核心作用。经典聚类算法因其概念简单和计算高效而被广泛采用,但在处理当代大数据特征时面临重大挑战。具体表现为:维数灾难导致高维空间中欧式距离失去意义;真实数据集呈现的非线性结构和复杂流形无法被线性分离器有效捕获;基于质心的方法对噪声和异常值高度敏感;且启发式方法在确定最佳聚类数时常常得到不一致的结果。为了克服谱聚类等方法在大规模数据下的可扩展性问题,以及深度学习聚类对大量计算资源的依赖,量子机器学习(QML)应运而生。尽管早期QML探索了量子核在增强数据可分性方面的潜力,但现有量子聚类方法多局限于纯理论或无噪声模拟器,缺乏应对真实世界含噪数据的端到端混合管线,且忽略了对聚类数自动确定问题的解决。针对上述问题,本文提出混合量子-经典聚类算法(HQCA),旨在利用量子计算在相似性度量和全局优化方面的优势弥补经典算法的缺陷,提高无监督学习任务的精度和鲁棒性,这对于在NISQ时代探索量子的算法表示优势和实际数据分析具有重要意义。本研究成果发表在《Decision Analytics Journal》上。
为了开展这项研究,研究人员主要采用了以下关键技术与数据来源:数据集取自UCI机器学习存储库(包括Iris、Wine、Breast Cancer)及高维图像数据集(Fashion-MNIST)等真实和合成基准数据;使用参数化量子电路(PQC)实现量子特征映射以构建量子核矩阵;引入量子启发的间隙统计量,基于量子计算的高效性自主确定最佳聚类数;运用量子近似优化算法(QAOA)将质心分配问题转化为二次无约束二进制优化(QUBO)问题进行求解;利用含噪中等规模量子(NISQ)架构结合量子计算框架,并与K-Means、DBSCAN及谱聚类等经典基准方法进行对比评估。
2. Methodology
在数学模型上,HQCA通过最小化簇内惯性将数据集X划分为K个不相交的簇,并将传统欧式距离替换为在高维Hilbert空间中定义的量子核距离。该框架采用并行处理架构,允许量子核分析与聚类数确定同步执行。通过量子特征映射将经典数据编码为量子态,利用量子态保真度计算量子核,从而揭示非线性结构。在聚类数确定阶段,使用量子增强的间隙统计量,通过计算候选k的簇内离散度与参考数据集的对比来最大化间隙,从而实现自主模型选择。在质心优化阶段,将距离度量嵌入量子Hilbert空间,并将质心分配转化为QUBO问题,利用QAOA探索能量景观,以克服经典启发式方法容易陷入局部极小值的缺陷。
3. Experimental results
3.1. Experimental setup
实验在从UCI存储库获取的多个真实及合成数据集上进行。通过与多种经典聚类算法对比,并在Qiskit Aer模拟器中引入真实噪声模型,所有实验重复20次以确保统计学意义。量子电路针对核估计和12比特的QAOA优化进行设计,使用纯度、轮廓分数和调整兰德指数(ARI)作为评估指标。
3.2. Performance comparison
实验结果显示,HQCA在所有测试数据集上均优于经典基准算法。在高维和复杂数据集(如Breast Cancer和Fashion-MNIST)上提升最为显著。例如在Fashion-MNIST上,HQCA较谱聚类的纯度和ARI分别提升了5.8%和21.3%。这表明量子核在处理高维特征空间时具有显著优势,且QAOA的全局优化能力使得算法性能更加稳定。
3.3. Comparison with existing quantum clustering method [20]
在Breast Cancer数据集上与现有的量子聚类方法比较表明,HQCA凭借集成的量子核估计和QAOA优化,在各项指标上均超越了现有的量子聚类方法,验证了该端到端混合管线的有效性。
3.4. Comparison with classical optimization solver (Gurobi)
将质心分配转化为QUBO问题后,与经典精确求解器Gurobi 11.0的对比表明,在小规模问题上Gurobi能找到全局最优,但QAOA在更大规模问题上展现出更好的可扩展性。
3.5. Comparison with quantum annealing
与量子退火求解器的对比表明,虽然量子退火的退火时间极短,但嵌入开销使其难以应用于较大规模问题。HQCA在纯度和ARI指标上均优于量子退火,更具实用性。
3.6. Scalability and resource discussion
算法所需量子比特数随聚类数呈对数级增长,电路深度受QAOA层数和图度数限制。资源估算显示,当前所需资源在NISQ设备的能力范围内,但瓶颈依然在于经典模拟器。
3.7. Computational performance
计算性能分析表明,HQCA相比K-Means平均需要更少的迭代次数(12对比18),尽管单次迭代成本较高。在简单数据集上,HQCA保持97%-98%的收敛率,而复杂的高维数据集虽需较深的电路和更长的执行时间,但仍能保持稳定的收敛,展现了其在不同场景下的高效性。
4. Discussion
研究讨论部分强调,HQCA展现出的量子优势在于解的质量和表示层面,而非渐近运行速度的提升。量子核估计成功将数据投影到高维特征空间,使得非线性可分的簇更易被识别;而QAOA的应用使得算法能够全面探索代价函数景观,有效避免了局部最优陷阱。在可扩展性方面,HQCA的量子资源需求适应于当前NISQ设备的极限,其并行架构充分展现了利用量子计算固有并行性的效率优势。然而,在极高清图像数据上较低的绝对指标值显示,超高维数据的聚类仍是挑战。总体而言,HQCA证明了混合量子-经典方法在解决复杂聚类问题时的技术可行性和重要价值,为未来容错量子计算机发展前的量子辅助数据分析提供了概念验证和清晰的蓝图。
Conclusion
本文提出了混合量子-经典聚类算法(HQCA),该框架有效结合了量子与经典计算的优势,以解决经典聚类方法的局限性。通过集成量子核估计、基于QAOA的优化和量子启发的间隙统计量,HQCA在多项指标上始终超越经典算法。研究人员重申,所证明的优势是算法和表示上的改进,而非渐近意义上的加速。实验结果表明,HQCA通过量子核表示和QAOA优化实现了更优的聚类解质量,为NISQ时代的无监督学习提供了设计蓝图,并在机器学习领域展现出令人期待的量子应用潜力。