基于资源约束的贝叶斯低秩自适应语义聚类

《Neural Networks》:Semantic Clustering under Resource Constraints via Bayesian Low-rank Adaptation

【字体: 大 中 小 】 时间:2026年05月03日 来源:Neural Networks 6.3

编辑推荐:

  图像聚类长期以来依赖于视觉特征相似性,这限制了其满足用户定义的语义需求的能力。视觉语言模型(Vision-Language Models, VLMs)的最新进展提供了一条从图像中提取语义上有意义的文本描述的路径,从而实现语义感知的聚类。然而,在资源受限的环境中

  
图像聚类长期以来依赖于视觉特征相似性,这限制了其满足用户定义的语义需求的能力。视觉语言模型(Vision-Language Models, VLMs)的最新进展提供了一条从图像中提取语义上有意义的文本描述的路径,从而实现语义感知的聚类。然而,在资源受限的环境中,小规模VLMs遭受噪声生成和语义不一致的影响,损害了基于文本的表示质量。研究人员提出了一种用户引导的多模态语义聚类框架,在低资源、用户定义的语义聚类场景中显示出优于先前方法的明显优势。该方法首先利用视觉问答(Visual Question Answering, VQA)风格的VLM生成图像的自然语言描述,随后利用小规模大语言模型(Large Language Model, LLM)根据用户定义的查询进行语义分类。为了减轻噪声文本输出的影响,研究人员引入了一种标记级(token-level)置信度估计机制,为视觉和文本特征分配自适应权重以实现鲁棒融合。此外,设计了一个带有自动相关性确定(Automatic Relevance Determination, ARD)先验的贝叶斯低秩自适应(Bayesian Low-Rank Adaptation, Bayesian LoRA)对齐模块,实现了具有结构化稀疏性和改进语义一致性的跨模态投影。在公共基准上的大量实验表明,该方法在用户定义的语义聚类任务中实现了准确性和鲁棒性的一致提升,同时在标准类别聚类中保持了有竞争力的性能,且与大规模视觉语言模型相比,计算开销显著降低。该框架为实际多模态场景下的可控、可解释和可扩展聚类提供了一个有前景的方向。
研究人员针对资源受限环境下语义聚类面临的挑战,开展了系统性的研究工作,相关成果发表于《Neural Networks》。传统的图像聚类方法主要依赖颜色、纹理和形状等低中级视觉特征,缺乏根据用户意图进行灵活语义分组的能力,导致聚类结果与用户期望的语义抽象之间存在错位。尽管视觉语言模型(VLMs)的出现使得通过自然语言驱动的概念聚类成为可能,但现有的语义聚类方法通常依赖计算密集的大型预训练模型,难以在资源受限的实际场景中部署。此外,小型模型在捕捉细粒度语义区分时容易产生语言幻觉(hallucination),且视觉与语言嵌入之间的模态鸿沟(modality gap)会进一步降低聚类质量。为了解决这些问题,该研究旨在构建一个适用于低资源环境的用户引导语义聚类框架,将语义聚类重新表述为一个可靠性感知的表示学习问题,以平衡语义灵活性与计算可行性。
为实现上述目标,研究人员采用了几项关键技术方法。首先是双阶段语义提取流程,利用轻量级VLM生成图像描述,再结合紧凑型LLM根据用户查询进行分类。其次是标记级置信度加权融合机制,通过在标记级别估计生成概率来量化语义预测的可靠性,动态调整视觉和语言特征的贡献权重。最后是贝叶斯低秩自适应(Bayesian LoRA)模块,通过为每个低秩适应通道分配Gamma先验来估计通道相关性,实现具有结构化稀疏性的跨模态投影,替代了标准的均匀参数更新策略。
在实验结果方面,研究人员进行了全面的评估。在“Experimental Setup”部分,实验考察了双阶段语义提取流程在支持用户定义聚类方面的有效性,并评估了置信度感知融合如何调节不可靠语言预测的影响,同时探究了混合ARD–Bayesian LoRA相比标准LoRA是否能带来更稳定、更具判别性的跨模态对齐。结果表明,该方法在标准数据集上实现了与现有领先方法相当的性能,同时在资源受限的用户定义语义聚类任务中显著优于现有方法。
结论部分指出,研究人员提出了一种专为资源受限场景设计的置信度感知多模态语义聚类框架。该框架集成了基于贝叶斯LoRA的跨模态对齐与可靠性引导的特征融合机制,解决了低资源视觉-语言设置中的关键挑战,包括语义模糊、语言幻觉和模态不匹配。通过显式建模基于语言的语义预测中的不确定性并利用其指导特征融合,该方法在保持计算效率的同时显著提升了聚类性能。这项工作为实际应用场景中可控、可解释且可扩展的聚类提供了重要的技术支撑。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号