基于多视图辅助建模的视角不一致情况下稳定大语言模型适配方法

《Pattern Recognition》：Multi-view auxiliary modeling for stable LLM adaptation under view disagreement

　　•将大语言模型的适配问题重新定义为固定骨干网络与可训练骨干网络的双视图融合。•每个标记的门控机制驱动一种幂均值融合器，用于整合专家混合模型与专家乘积模型。•两阶段Top-K重排序机制使推理生成过程与训练时的融合保持一致。•在视图存在分歧时，采用通用视图以确保对外部数据的稳定性。•固定骨干网络会移除其优化器状态，从而降低训练时的内存消耗。

引言
多视图学习长期以来被视为将不同来源的信息——如不同传感器、不同模态或同一现象的不同表示——整合为单一稳健预测结果的主流方法[1]。当前存在的两个难题是：如何融合相互冲突的视图，以及当视图发生偏移、出现噪声或部分缺失时如何保持稳定性[2]、[3]。我们认为，在将大型语言模型适配到特定领域时，这些问题会以不同的形式再次出现。

预训练的大语言模型和经过领域微调的大语言模型可以被视为对同一输入标记流的两种不同知识视角：固定的预训练骨干网络能够提供关于下一个标记分布的广泛且精确的通用知识视角；而专用模型则提供更为狭窄的领域特定视角。现有的主流适配方法会将这两种视角合并为单一参数集：标准的微调流程会直接覆盖原有的骨干网络[4]，或者通过低秩适配器对其进行调整[5]、[6]，从而在单一参数空间内实现两种视角的代数融合。这实际上就是所谓的灾难性遗忘问题[7]、[8]，从多视图角度来看，就是即使更清晰的视角本应占主导地位，融合结果却会受噪声较大的视角影响。

我们提出了一种双骨干网络架构，该架构中的两个网络通过中间潜变量注入的方式在内部相互关联，而非共享同一参数空间。同时，我们还采用了输出分布的决策级融合方法，这一方法在后期融合的多视图学习中早已被广泛应用[1]。我们的多视图辅助框架（MV-Aux）将固定的预训练骨干网络Mθ（即通用视角）与轻量级的可训练辅助骨干网络Mμ（即专用视角）相结合；Mθ产生的中间潜变量会单向注入到Mμ中，从而使专用视角能够依据通用视角的表示结果进行调整。随后，这两个网络的输出标记分布会通过一个学习得到的每个标记的三元组（αt,βt,τt）来实现融合。参数βt用于控制一种广义的幂均值融合器，该融合器能够在专家混合模型的算术融合方式（βt→1，即传统的软门控多视图融合器[9]）与专家乘积模型的几何融合方式（βt→0，即传统的锐化融合器[10]）之间实现平滑过渡。参数τt则用于自适应调整融合后的分布[11]，而推理阶段的二阶段Top-K重排序机制[12]则确保生成结果与训练时的融合结果保持一致。图1展示了该框架的结构。

通过将固定的通用视角和可训练的专用视角构建成双骨干网络架构，并通过前者向后者单向注入潜变量来实现精细化的每标记融合，该框架解决了我们所说的视图分歧问题（即多视图视角下的稳定性与可塑性矛盾问题），同时还能保留预训练得到的表示结果，以便后续进行深度适配——而这正是传统骨干网络适配方法往往难以实现的优点。

贡献：
(1) 我们将大语言模型的领域适配问题重新定义为固定通用视角骨干网络与可训练专用视角辅助网络之间的自适应双视图决策融合问题，从多视图学习的角度诠释了稳定性与可塑性之间的矛盾。
(2) 我们引入了一种由每个标记的门控三元组（αt,βt,τt）控制的 Learned广义幂均值运算符，该运算符可以将专家混合模型与专家乘积模型视为同一可学习参数的两个端点。此外，该框架还包含每个标记的学习得到的温度参数τt，以及二阶段Top-K重排序机制，该机制将候选项的选择（逻辑空间）与概率重新评分（幂均值空间）分开处理，从而避免了融合生成结果时常见的训练集与测试集分布不匹配的问题。
(3) 我们在多个基准测试中对比了不同规模的骨干网络与辅助网络组合。实验结果表明，MV-Aux能够在很大程度上缓解灾难性遗忘问题，同时在后续适配任务中的表现也相当出色。尽管相比参数效率更高的基线方法，MV-Aux需要更多的可训练参数，但由于固定了通用视角的骨干网络并无需存储其优化器状态，因此仍能降低训练时的内存消耗。

章节摘录
多视图网络学习
多视图学习任务是指那些能够处理同一输入的多种不同表示形式，并将这些表示整合为连贯预测结果的模型。该领域的奠基性工作，例如典型相关分析及其深度版本[13]，已经证明，当这些不同视图能够捕获互补信息时，利用视图多样性显然具有优势。后续的研究则进一步推动了该领域的发展，出现了许多能够学习跨不同视图共享表示的深度多模态架构。

图2展示了MV-Aux框架，该框架由三个部分组成：通过潜变量注入实现的中间特征提取、带有每个标记学习得到的温度参数的自适应多视图幂均值融合，以及推理阶段的二阶段Top-K重排序机制，该机制将生成过程中的候选项选择与概率重新评分分开处理。

该框架包含一个固定的通用视角骨干网络Mθ和一个可训练的专用视角骨干网络Mμ，两者拥有相同的架构，且都包含K∈[0,n]个节点。

从幂均值融合的多视图视角来看
第3.2节中介绍的融合运算符其设计灵感来自前文的实证研究。在这里，我们从传统多视图学习的角度重新审视这一运算符：我们将MV-Aux的融合运算视为广义幂均值共识运算符家族的一员，分析了它在典型多视图融合运算符家族中的极限行为，证明了其在视图存在分歧时的有界性、单调性及稳定性，同时还说明了该运算符可以直接扩展到N个视图的情况，并对门控机制的每个标记三元组进行了解读。

实验分析
我们根据第4节提出的两个标准来验证MV-Aux的性能：一是视图发生偏移时的稳定性（即在保留的测试数据上的灾难性遗忘问题），二是专用视角的可塑性（即后续适配能力）。第5.1节介绍了所使用的数据集、骨干网络及实验流程；第5.2节报告了主要的遗忘程度及适配效果指标；第5.2.2节则分析了微调质量、训练效率，以及门控机制在判断视图一致性方面的作用。

结论
我们提出了MV-Aux，这是一种用于大语言模型领域适配的自适应双视图决策融合框架。该框架将固定的通用知识视角与可训练的专用视角在结构上分开，并通过一种学习得到的广义幂均值运算符来融合这两种视角的标记分布。一个门控三元组（αt,βt,τt）可以控制每个标记的融合过程，使其在共识规则范围内不断变化：参数βt可以在专家的算术混合方式（βt→1）与专家的几何乘积方式（βt→0）之间切换，而参数τt则用于调整融合结果的精度。

CRediT作者贡献声明
陈星远：写作——审稿与编辑、写作——初稿撰写、监督、项目管理、方法设计、概念构思。
张金明：写作——初稿撰写、可视化处理、结果验证、软件工具应用、形式化分析、数据整理。
龙云飞：写作——审稿与编辑、监督工作。
金鹏：写作——审稿与编辑、监督工作。
苏宁：资源协调、数据整理。
戴新宇：写作——审稿与编辑、监督工作。
陈佳俊：写作——审稿与编辑、监督工作。

关于写作过程中生成式人工智能与人工智能辅助技术的声明
在撰写本文的过程中，作者们使用了Grammarly工具来检查语法、拼写及语言表达的清晰度，同时使用了AI编码助手（Claude）来协助编写训练和评估脚本。在使用这些工具之后，作者们对内容及代码进行了必要的审查和修改，并对最终发表的内容负全责。

利益冲突声明
作者们声明自己不存在任何可能影响本文研究成果的已知财务利益或个人关系。

致谢
本研究部分得到了四川省科技计划项目（编号：2024NSFSC0520）的支持，同时也得到了教育部人文社会科学研究项目的资助（编号：23YJA740013）。

陈星远|张金明|龙云飞|金鹏|苏宁|戴新宇|陈佳俊