大型语言模型多语言知识编辑的融合方法:一项实证探索
《Electronics》:Merging Methods for Multilingual Knowledge Editing for Large Language Models: An Empirical Odyssey
【字体:
大
中
小
】
时间:2026年06月23日
来源:Electronics 2.6
摘要
多语言知识编辑仍然面临诸多挑战,因为不同语言的编辑内容会相互干扰,即便在单语言环境中使用定位后编辑的方法也能取得效果。我们研究了将每种语言独立生成的编辑内容合并为单一编辑操作——即向量合并——是否能够减轻这种干扰。我们在大规模批量编辑场景下,使用两种核心大型语言模型、两种基础知识编辑方法以及12种语言,在MzsRE基准测试上评估了六种不同的合并方式,并分析了权重缩放因子和秩压缩比率对编辑性能的影响。结果表明,采用具有共享协方差的求和方式整体上最为可靠,而无需共享协方差的简单求和方式效果较差。任务奇异向量合并方法仅在特定场景下有效,因此其在减少多语言干扰方面的能力有限。编辑性能还受权重规模和秩比的影响,通常高于默认值的缩放比例以及相对较低的秩能带来最佳效果。从语言资源水平来看,对于泰语和越南语等资源相对较少的语言,合并方法的选择尤为重要。这些研究结果明确了当前用于多语言知识编辑的向量合并方法的实际优势与局限性,为未来的相关研究提供了参考。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号