QCHFT：用于大型语言模型（LLMs）的量子交叉混合微调技术

《IEEE Transactions on Quantum Engineering》：QCHFT: Quantum Cross-Hybrid Fine-Tuning for LLMs

　　

摘要：

当全参数更新对于大型语言模型（LLMs）来说不切实际时，通常会采用参数高效的微调（PEFT）方法来减少可训练参数的数量。传统的PEFT方法，如低秩适应（LoRA），仅限于线性变换，在严格的参数约束下可能无法捕捉复杂的高阶特征交互。相比之下，参数化量子电路（PQCs）每个量子比特旋转自由度都提供了高阶的表达能力。受PQCs的启发，本文提出了量子交叉混合微调（QCHFT），它包含四种增强型PQC适配器：矩阵乘积态PQC、交替和分层成对收缩PQC以及LinearA–Quantum–LinearB PQC。为了评估我们的QCHFT适配器，我们在一个公开的多层物联网资源分配任务上进行了实验，该任务具有复杂的跨层交互数据和有限的参数预算，是一个具有挑战性的基准测试。我们在五个因果LLM模型上进行了实验，这些模型的参数规模从1.25亿增加到20亿，包括Mamba2、GPT-Neo、Pythia、Llama-3.2和Qwen-3.5。实验结果表明，与标准的LoRA相比，QCHFT能够一致地提升性能。在Mamba2-1.30M模型上，APC–PQC变体的准确率从67.33%提高到了72.66%。这些发现表明，通过浅层电路可以实际利用量子纠缠的高表达能力，为将基础模型适配到复杂的高特征任务提供了一条更高效、更节省参数的途径。