基于图谱的查询聚类技术支持分组查询注意力机制
《Knowledge-Based Systems》:Grouped query attention supported with graph-based query clustering
【字体:
大
中
小
】
时间:2026年01月16日
来源:Knowledge-Based Systems 7.6
编辑推荐:
本文提出基于图聚类的新型GQA框架,通过自适应融合关键值对解决模型压缩与性能保持的平衡问题。实验在BERT和Llama2-7b模型上验证,有效提升NLU和NLG任务精度,同时减少约40%模型参数。
郑凌|张玉佳|沈亮|苗崇|沈强
中国福建省福州市福建妇幼保健医院,350001
摘要
分组查询注意力(GQA)是多查询注意力的一种泛化形式,旨在通过为给定查询启用共享的键值对来最小化模型大小。这种方法有助于加快解码器的推理速度。然而,查询之间的差异可能会在键值对中引入不确定性,从而降低注意力模型的信息传播效果。一个潜在的解决方案是根据查询的相似性将它们聚类到共享键值对的组中。本文提出了一种新的框架来增强GQA,利用图方法对相似的查询进行聚类。它能够自适应地指导键值对的融合,以减少模型参数数量,同时保持推理性能。本文采用了三种不同的聚类方法(即k-均值算法、匈牙利算法和Blossom算法)来实现基于聚类的GQA(CGQA)。通过将这种方法应用于两个实际问题(自然语言理解和自然语言生成任务),验证了其有效性。比较实验分析表明,所提出的方法优于现有的GQA方法,进一步证明了底层注意力模型的有效性。
引言
分组查询注意力(GQA)[1]是在多查询注意力(MQA)[2]的基础上发展起来的,通过共享键值对来减少模型参数,从而提高解码器的推理速度。它在语言总结和问答(QA)等任务中的表现与多头注意力(MHA)[3]相当,并显著缩短了推理时间。预计随着注意力模型规模的扩大,GQA的有效性也会提高[4]、[5]、[6]。GQA机制允许每两个查询轮流共享一个键值对,从而压缩多头检查点并减轻由于重复加载解码器权重和缓存键值对而产生的内存带宽开销[7]。从结构上看,它部分解除了查询与键值对之间的“多对一”强耦合,从而缓解了不同查询视角带来的查询混乱问题。这种机制已被用于重构基于注意力的模型,包括T5[8]、BERT[9]、Roberta[10]以及最近发布的Qwen3[11]。
尽管GQA具有实用性,但它仍然存在一些固有的挑战,这些挑战源于连续均匀的聚类策略,包括:1)表示能力降低:同一组内不同查询的输出来自单个共享键值对,这可能会削弱模型的表示多样性。2)注意力分辨率降低:同一组内查询共享单个键值对会导致注意力图的多样性降低,从而增加各头部之间的冗余。3)参数分布不平衡:当多个查询被投影到单个融合的键值子空间时,参数分布会变得高度不平衡,尤其是在学习率较低或批量大小较小时,会导致训练初期优化不稳定。
这些挑战促使我们提出了相应的解决方案。通过图1中对模型参数的查询、键和值子矩阵进行定量相似性分析提供了支持证据,图中蓝色逐渐变为红色表示BERT和Llama2-7b的两个参数子矩阵之间的相似性增加。显然,相邻的子矩阵可能表现出相对较低的相似性,而非相邻的子矩阵则表现出较高的相似性。因此,GQA通过简单地将连续的键值对合并到一个组中,可能会将具有低相互相似性的对聚类在一起,将具有高相似性的对分开。
根据上述研究,本文提出了一种新的GQA框架,用于重构注意力模型中的注意力头,从而去除冗余的模型参数,压缩模型大小,同时保持模型性能。该框架应用聚类过程对相似的查询进行分组,可以选择是否进行模型再训练,以帮助减少查询到键值传递过程中的不确定性。此外,引入了三种图聚类方法来实现所提出的CGQA过程,包括但不限于k-均值算法[12]、匈牙利算法[13]和Blossom算法[14]。在BERT[15]和Llama2-7b[16]等预训练模型上评估了所提出的CGQA方法,结果表明其准确性和F1分数以及效率均优于传统的GQA及其变体。选择这些预训练模型是因为BERT作为注意力系统的编码器在理解任务中表现出色,而Llama2-7b模型作为解码器则适用于内容生成任务。
本研究的主要贡献如下:
•通过使用图聚类来增强GQA的新框架,这是重构注意力图的基础步骤。这是通过应用一种专为键值对设计的自适应融合技术来实现的,该技术由不同的查询分组方式指导。
•创新性地应用了三种重新设计的图算法(k-均值算法、匈牙利算法和Blossom算法)对查询进行聚类,利用欧几里得距离和余弦相似度等指标有效地对相似查询进行分组。
•在多种基准测试上使用BERT和LLama2-7b模型进行了广泛的实验。这些实验考察了不同分组大小的影响,分析了模型性能与压缩率之间的权衡,研究了再训练的效果,并将所提出的方法与最新的GQA变体进行了比较。实验结果表明,重构后的BERT和LLama2-7b模型在自然语言理解(NLU)和自然语言生成(NLG)任务(包括文本分类、命名实体识别、问答和零样本推理)中的表现优于原始模型。
•本文的其余部分安排如下:第2节详细介绍了将用于查询聚类的注意力机制和图聚类方法的发展历程。第3节详细介绍了所提出的CGQA以及键值对融合的指导原则。第4节报告了将CGQA应用于NLU和零样本NLG任务的全面实验结果,使用了BERT和Llama2-7b模型。第5节总结了本文并提出了进一步改进工作的潜在方向。
章节片段
注意力机制
注意力机制是神经网络中的一种技术,使模型能够在输出生成过程中专注于输入序列中最相关的方面。在自然语言处理中,注意力机制作为一种强大的工具,模仿人类的信息处理方式,帮助机器理解和生成语言。本质上,这种机制允许模型在处理过程中强调序列数据的关键部分,而不是均匀处理所有输入数据。
方法论
本节介绍了实现CGQA的方法论方法。第3.1节详细介绍了CGQA与传统MHA和GQA技术的区别。第3.2节至3.4节分别探讨了CGQA的三种具体实现方式,采用了不同的查询聚类策略(即k-均值算法、匈牙利算法和Blossom算法)。
实验
所提出的方法在流行的代表性注意力模型BERT和Llama2-7b上进行了评估。特别是BERT在语言理解任务中至关重要,而Llama2-7b在序列生成任务中表现出色。实验研究有助于证明本工作的有效性和泛化能力,适用于各种NLP模型。还系统地研究了不同聚类方法的影响。
结论
本文提出了一种新的框架,通过聚类具有相似行为的查询来泛化GQA。这些簇用于指导现有注意力模型(如BERT、Llama和GPT)的重组,从而在减少组内查询冗余和增加组间差异的同时,进一步压缩模型。特别是,通过调整k-均值算法引入了三种查询聚类的实现方式。
CRediT作者贡献声明
郑凌:写作——审阅与编辑、撰写初稿、监督、项目管理、方法论设计、概念化、形式分析、调查、可视化。张玉佳:验证、数据整理、调查。沈亮:验证、调查、形式分析、资源获取。苗崇:资源获取、资金筹集。沈强:写作——审阅与编辑、监督、资源管理。
利益冲突声明
作者声明没有已知的财务利益或个人关系可能影响本文所述的工作。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号