《Entropy》：GME-Init: Gamma-Moment Equalization for LoRA Initialization in Parameter-Efficient Fine-Tuning
编辑推荐：
低秩适应是一种具有代表性的参数高效微调(PEFT)方法，它在不改变模型架构的情况下降低了计算和内存开销。标准LoRA从对称分布（如高斯或Kaiming初始化）中采样初始化矩阵A，并将矩阵B初始化为零。尽管这提供了一个统计上中立的起点，但它忽略了特定任务输入特征
低秩适应是一种具有代表性的参数高效微调(PEFT)方法，它在不改变模型架构的情况下降低了计算和内存开销。标准LoRA从对称分布（如高斯或Kaiming初始化）中采样初始化矩阵A，并将矩阵B初始化为零。尽管这提供了一个统计上中立的起点，但它忽略了特定任务输入特征对初始化的影响。研究人员提出了伽马矩均衡初始化(GME-Init)，这是一种基于输出矩校准的数据感知非对称LoRA初始化方法。利用小规模校准集，GME-Init估计目标层输出的方差和偏度，并调整LoRA权重的分层初始化尺度和不对称性，改善了它们与特定任务偏斜表示的统计对齐。GME-Init仅在初始化阶段运行，不改变LoRA架构、可训练参数量、训练预算或推理开销。研究人员在RoBERTa-base的GLUE子集上对其进行了评估，将其与AdaLoRA和DoRA集成，并使用Qwen2.5-VL-3B-Instruct在VRSBench-VQA、VRSBench-Caption和UCM-Caption上进行了测试。结果表明，GME-Init作为一个无需额外推理开销的即插即用PEFT初始化模块，在被评估的文本理解和多模态任务中持续提升了标准LoRA以及所选择的类LoRA方法的性能。
随着大型预训练模型在文本理解、多模态问答、图像描述生成以及特定领域信息抽取等任务中的广泛应用，模型参数规模的急剧增长使得全参数微调在下游任务中不仅需要消耗海量的计算和存储资源，还极大增加了模型部署与维护的复杂度。为应对这一挑战，参数高效微调(PEFT)成为了适配预训练模型的重要途径。其中，低秩适应通过冻结预训练权重矩阵并仅训练一个低秩更新分支，在大幅降低微调成本的同时，较好地保留了模型的原始架构与工作流。然而，LoRA的初始化状态会直接影响适配器的早期输出、梯度方向及优化轨迹。标准LoRA通常采用对称分布（如高斯或Kaiming分布）初始化矩阵A，并将矩阵B置零，使得初始的低秩更新满足了$\Delta W = BA = 0$的零矩阵形式。这种设计虽然在训练前避免了对预训练模型的扰动，并提供了在方向上无偏的统计起点，却未能反映输入特征分布对适配器权重初始统计状态的影响。当任务输入数据经过预训练模型的非线性变换后，目标层的输出往往呈现出依赖任务的尺度与有偏分布。因此，固定的对称初始化与严格的零低秩更新在统计上可能无法与当前任务数据所诱导的表示分布相匹配。近期的一些方法尝试利用预训练权重分解、下游激活值或梯度信息来改进低秩初始化子空间，但它们均未直接针对不同目标层在微调初始阶段是否具备兼容的输出尺度和分布不对称性进行控制，尤其是输出方差与偏度的联合对齐尚未得到充分探索。基于此背景，研究人员提出将LoRA初始化重新构建为输出矩空间中的数据感知校准问题，并发表于《Entropy》。该研究旨在通过显式校准目标层的输出方差和偏度，使得低秩分支在训练前即能有效对齐任务特定的偏斜表示分布，这对提升模型在多任务下的早期优化稳定性与最终性能具有重要意义。
在开展此项研究时，研究人员主要采用了以下几项关键技术方法：一是输出矩校准，利用小的校准集进行无梯度前向计算，以提取目标层输出的二阶统计矩（方差）和三阶统计矩（偏度）；二是有效响应矩阵估计，通过协同全局探测策略，利用一阶双变量泰勒展开近似测量层级输出方差与偏度对初始化尺度及不对称性参数的局部响应，并据此求解替代校正量；三是中心化伽马分布采样，使用基于校正目标的中心化伽马分布对矩阵A进行非对称采样，同时配合极小非零高斯分布初始化矩阵B。样本队列来源包括自然语言理解基准测试GLUE子集（RTE、MRPC、CoLA、SST-2和STS-B），以及多模态遥感视觉问答与图像描述生成数据集VRSBench-VQA、VRSBench-Caption和UCM-Caption。
关于有效响应矩阵估计与协同探测，研究人员将目标层方差与偏度表示为协同探测控制变量的函数，通过一阶泰勒展开构建有效响应矩阵。研究得出，该矩阵保留了主响应和交叉响应项，且对于多数目标模块，响应矩阵可直接或通过阻尼逆求解，仅在少数条件不佳时才需要使用忽略交叉项的低阶近似(GME-LO)作为回退策略，从而确保了校正数值的稳定性与有界性。
在中心化伽马初始化部分，通过将求解得到的层级尺度和不对称性目标转化为具体的概率分布采样，研究人员得出了以下结论：矩阵A可以从形状由目标偏度推导、尺度由目标标准差设定的中心化伽马分布中采样，以实现近似零均值并控制偏度方向；矩阵B则采用极小非零的高斯分布初始化。这种设计既允许输出矩校准在初始化时生效，又严格控制了扰动幅度以避免破坏预训练模型的固有表示。
在GLUE文本理解主实验中，GME-Init在多秩设置下显著提升了五项任务的平均得分，且优于标准LoRA以及PiSSA、OLoRA等方法。消融实验表明，非零初始化与中心化伽马采样虽有增益，但在输出矩空间联合校准方差和偏度的完整有效响应矩阵才是性能提升的主要来源。与AdaLoRA和DoRA等变体的即插即用实验结果表明，GME-Init能够与秩预算分配和权重重参数化方法良好兼容。
在遥感多模态任务结果中，应用GME-Init不仅全面提升了VRSBench-VQA的各项匹配指标，还在不同规模的VRSBench-Caption及跨数据集UCM-Caption任务中显著增强了生成描述与参考语义的契合度。输出矩对齐分析进一步证实，通过GME-Init处理，各目标层在微调前向公共矩目标的绝对距离均出现了实质性的相对下降。
讨论部分指出，当前研究存在一定局限性。首先，其校准的有效性依赖于小规模校准样本对任务数据总体分布的代表性，对于小规模或复杂推理任务可能需要更系统的样本选择策略。其次，协同探测测量的是各层有效响应而非完整的跨层雅可比矩阵，因此未显式解耦各个独立适配器的贡献。另外，验证范围仅限于RoBERTa-base和Qwen2.5-VL-3B-Instruct两种骨干网络，向更大规模纯文本解码模型或更复杂多模态架构的泛化能力仍有待验证。
在研究结论部分，研究人员总结指出，针对标准LoRA初始化忽略输入特征分布影响的问题，本文提出的伽马矩均衡初始化(GME-Init)将LoRA初始化方法从固定的对称采样转变为基于输出矩校准的数据感知非对称初始化。该方法通过估计目标层输出的方差与偏度，并在协同探测策略下测量有效响应以计算近似校正，随后结合中心化伽马分布与极小非零高斯分布对低秩分支进行初始化。实验结果表明，GME-Init在保留控制扰动幅度的同时，有效提升了初始适配器权重与当前任务数据分布的统计对齐度。该方法不仅作为零额外推理开销的即插即用模块普遍提升了文本理解任务中的标准LoRA，在多模态视觉语言任务以及选取的多种LoRA型PEFT变体中也获得了稳定增益，为参数高效微调领域提供了一种高效且适应性强的初始化范式。
