RALoRA：基于视觉语言基础模型的不完整多视图分类的秩自适应LoRA方法

《TRENDS IN FOOD SCIENCE & TECHNOLOGY》：RALoRA: Rank-adaptive LoRA for incomplete multi-view classification with vision-language foundation models

　　•秩自适应门控机制可针对缺失视图调整共享式与视图特定的LoRA参数。•基于稀疏性的损失函数有助于实现紧凑且高效的秩分配。•RALoRA提升了在不完整图像文本基准测试中的鲁棒性。引言预训练的视觉语言基础模型[VLFM][1][2]在视觉识别[3]、跨模态检索[4]、图像文本推理[5][6]以及多模态理解[7]等领域展现出强大的迁移能力。通过学习大规模的图像文本配对数据集，这些模型能够提供将视觉感知与语义理解相连接的通用表示[8]。从多视图学习的角度来看，图像和文本可视为同一语义实例的两种互补视角：图像视角捕捉外观、结构及空间背景，而文本视角则提供语义抽象、上下文描述以及语言先验知识[9]。这种互补性使得预训练的VLFM成为多视图融合与学习的强大基础。为避免歧义，本文将所研究的下游任务称为“不完整图像文本分类”。当图像视角、文本视角或不同样本的不同视角不可用时，我们使用“缺失视图场景”或“缺失视图条件”来描述此类情况。“不完整多视图学习”这一术语仅用于指代更广泛的研究领域。尽管取得了显著成效，但将基础模型直接应用于现实世界的图像文本任务仍面临诸多挑战。在实际应用中，由于隐私限制、数据获取难度、资源不足或标注不一致等原因，图像文本数据可能并不完整[10]。因此，在训练或推理过程中，下游系统可能只能看到图像视角、文本视角或不完整的图像文本对。这就使得不完整多视图学习[11][12]成为低质量多视图学习中一个具有代表性且实际意义重大的问题，即需要在信息不完整的条件下实现稳健的融合与识别。另一种解决该问题的方法是通过对预训练的VLFM进行全量微调以适配下游任务，但这需要更新所有模型参数。然而，这种方法往往计算成本高昂且参数利用效率低下，尤其是在下游多视图数据有限、不平衡或质量较差的情况下。此外，直接更新VLFM的整个主干结构可能导致在缺失视图场景下出现过拟合及适应性不稳定问题。为解决这一问题，参数高效微调（PEFT）方法[13][14][15]已成为适配基础模型的一种颇具吸引力的替代方案。通过引入少量可训练参数并冻结大部分预训练主干结构，PEFT能够在较低成本的前提下实现高效的下游适配，并提升部署灵活性。在现有的PEFT方法中，低秩适配（LoRA）[16]在多模态适配任务中已展现出显著效果[17][18]。最近的共享/特定低秩框架MoRA[19]进一步表明，要实现可靠的不完整图像文本分类，就需要同时保留跨视图间的共享交互机制与视图特定的灵活性。不过，MoRA仍然采用固定秩结构：一旦确定了秩的超参数，所有低秩方向都会被统一激活。这种假设忽略了不同秩方向对下游适配作用的非均匀性影响。在低质量多视图场景下[20]，这一局限性更为明显，因为模型必须依靠来自不同视角的不完整且可能不平衡的信息。在这种条件下，统一激活的低秩结构可能会引入多余的适配方向，而无法突出最具信息量的方向。例如，图1展示了不同数据集、缺失视图场景以及适配分支下所学到的平均秩门控值。固定秩适配器可被视为给每个秩方向都赋予1.00的恒定门控值，而所学到的门控值在不同数据集、缺失视图场景以及分支类型间呈现出明显的非均匀分布特征。为解决这一局限性，我们提出了一种用于视觉语言基础模型不完整图像文本分类的秩自适应LoRA方法——RALoRA。与固定秩适配不同，RALoRA引入了连续的秩级门控机制，以自适应地调节各个低秩方向的贡献程度。具体而言，共享型秩自适应分支与特定型秩自适应分支分别让共享式与视图特定的适配路径学习不同的有效秩使用模式。此外，我们还对所学到的门控值施加基于稀疏性的正则化处理，以抑制多余的低秩方向，促进更紧凑的容量利用。由于这些门控值是独立于输入的 Learned参数，因此在推理过程中，经过门控处理的低秩更新权重仍可完全整合到VLFM的原始线性层中。这样一来，RALoRA为固定秩低秩适配提供了一种简单却有效的改进方式，能够在缺失视图条件下持续提升模型的鲁棒性与分类性能。本研究的主要贡献如下：a) 我们提出了RALoRA，这是一种用于视觉语言基础模型不完整图像文本分类的秩自适应LoRA方法。RALoRA通过引入自适应的秩级调制，取代了固定秩适配中统一激活的模式，使得共享式与特定型秩自适应分支能够让共享式与视图特定的适配路径学习不同的有效秩使用模式。b) 我们还在所学到的门控值上加入了基于稀疏性的正则化项，以抑制多余的低秩方向，推动更紧凑的低秩容量利用。由于所提出的秩级门控值是独立于输入的Learned参数，因此经过门控处理的低秩更新权重在推理过程中仍可完全整合，从而保持了参数高效适配的优势。c) 在MM-IMDb、UPMC Food-101和Hateful Memes这三个具有代表性的图像文本基准测试上的大量实验表明，RALoRA在各种缺失视图场景下均能持续优于现有最先进方法。片段内容参数高效微调对大型基础模型进行全量微调不仅计算成本高昂，而且内存占用极大。因此，参数高效微调（PEFT）作为一种仅需更新少量任务特定参数即可适配预训练模型的方法得到了广泛研究。LoRA[16]是一种典型的低秩适配方法，它通过将可训练的低秩矩阵注入到已冻结的模型权重中，实现了高效适配，同时大幅降低了内存和计算成本。在视觉语言学习领域，问题设定与预备知识我们在训练和推理阶段都研究在缺失视图条件下的不完整图像文本分类问题。首先，我们将完整的图像文本数据集定义为D={(vi,ti,yi)}i=1N，其中vi和ti分别表示第i个样本的图像视角与文本视角，yi∈RC则表示该样本属于C个类别中的某一类。为模拟信息不完整的情况，我们根据视图保留系数η=(ηvis,ηtext)从D中构建缺失视图训练集与测试集，其中ηvis、ηtext∈[0, 1]分别表示……实验设置数据集。我们在三个具有代表性的图像文本基准测试上评估了所提出的RALoRA：MM-IMDb[31]、UPMC Food-101[32]以及Hateful Memes[33]。这些数据集分别涵盖多标签分类、单标签分类和二分类任务。MM-IMDb的评估指标为F1-Macro，UPMC Food-101的评估指标为Top-1准确率，Hateful Memes的评估指标为AUROC。为便于展示，表中的所有分数均已乘以100。MM-IMDb是一个多模态电影类型分类基准测试，每个样本包含……结论在本文中，我们提出了RALoRA，这是一种用于视觉语言基础模型不完整图像文本分类的秩自适应低秩适配框架。与固定秩低秩适配不同，RALoRA引入了共享式与视图特定的秩自适应门控机制，用以学习跨视图路径与视图依赖路径中各个低秩方向的实际贡献作用。此外，我们还设计了一种基于稀疏性的门控正则化损失函数，以促使模型实现紧凑且高效的秩配置。关于写作过程中生成式AI与AI辅助技术的声明在撰写本文的过程中，作者仅使用AI辅助语言编辑工具来提升手稿的可读性。在使用这些工具之后，作者对内容进行了必要的审阅与修改，并对最终发表的内容负全责。资金支持本研究得到了北京自然科学基金（编号L252009）、国家自然科学基金（编号62571294、62441614）、广东省人工智能与数字经济实验室开放研究基金（编号GML-KF-26-09）以及喀什大学多模态智能计算与大型模型重点实验室开放项目的支持。CRediT作者贡献说明柯俊杰：撰写——初稿、软件、方法论。马飞：调研、数据整理、撰写——审阅与编辑。林业民：数据整理、验证。王晓：形式分析、可视化。杨伟业：软件、可视化。刘奎恩：资源获取、调研。余子桐：概念构思、撰写——审阅与编辑。赵思成：验证、项目管理。丁贵光：监督。田奇：监督、资金筹措。利益冲突声明作者声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。柯俊杰|马飞|林业民|王晓|杨伟业|刘奎恩|余子桐|赵思成|丁贵光|田奇