基于可靠样例与上下文增强提示的语义辅助层次聚类框架

《Data Science and Engineering》：Semantic-assisted Hierarchical Clustering with Context-Enhanced Prompting Based on Reliable Examples

　　

语义辅助图像聚类（Semantic-assisted Image Clustering）旨在利用文本语义弥合视觉-语义鸿沟，将图像划分成语义上有意义的组别。然而，语义粒度不一致、视觉与语言模态间的跨模态语义冲突（Cross-modal Semantic Conflicts）以及语义监督信号利用不充分等问题，限制了现有方法的准确性与可解释性。为应对上述挑战，研究人员提出了一种新颖框架，该框架构建语义一致的簇标签空间（Cluster Label Space），并借助显式语义推理实现标签分配。首先，通过对样例级语义标签进行层次聚类（Hierarchical Clustering），构建具有统一粒度且语义无重叠的簇标签空间；随后，研究人员提出一种上下文增强的语义仲裁机制（Context-Enhanced Semantic Arbitration Mechanism），以实现鲁棒且可解释的簇分配。在多个公开基准上的大量实验表明，该方法在所有评估指标上均取得了显著提升，达到了当前最优性能（State-of-the-Art）。

论文解读：基于可靠样例与上下文增强提示的语义辅助层次聚类框架

一、研究背景与问题

图像聚类（Image Clustering）是一种无监督机器学习技术，其核心目标是将图像数据集划分为多个簇，使得簇内样本高度相似、簇间样本显著不同。传统图像聚类方法依赖固有视觉特征（如结构先验、分布先验和增广不变先验）来发现簇边界，但受限于“视觉-语义鸿沟”，这类方法容易被视觉相似性误导，难以区分视觉上相似但语义不同的样本，从而导致错误的语义聚类。例如，从纯视觉角度看，“海滩”与“沙漠”图像均呈现大面积黄色或金色调，视觉特征相似，但二者语义截然不同，现有聚类算法很可能将这两类图像错误地归入同一簇。

为缓解该问题，近期研究提出借助文本语义信息辅助图像聚类，主要分为两条技术路线：一是利用预定义外部知识库（如WordNet）注入文本语义约束；二是利用视觉-语言基础模型（Vision-Language Models, VLMs）和大语言模型（Large Language Models, LLMs）进行语义推理。尽管语义辅助图像聚类有效缓解了视觉相似但语义不同造成的混淆，仍面临三个关键挑战：其一，簇级语义空间缺乏层次语义结构，无法保证簇标签语义粒度的一致性，标签空间容易出现粒度不一致现象（如“水果”与“苹果”作为同级标签共存），引入聚类偏差；其二，图像与文本信号之间存在跨模态语义冲突，现有方法大多遵循单向监督范式，假设图像与文本模态在样例层面语义一致，但实践中图像与其生成文本传达的核心语义可能偏离或侧重不同方面，强制对齐会引入噪声并随迭代累积，扭曲数据内在视觉结构；其三，语义监督信号利用不充分，现有方法主要利用图像语义构建自监督信号，最终簇分配过程缺乏显式语义推理路径，用户无法理解样本为何被分配到特定簇，降低了聚类结果的可信度与实际应用价值。

二、研究内容与核心贡献

针对上述问题，研究人员提出了“基于可靠样例与上下文增强提示的语义辅助层次聚类”框架（Semantic-assisted Hierarchical Clustering with Context-Enhanced Prompting based on Reliable examples, SHCC），包含两大核心组件：样例语义层次聚类与基于上下文增强提示的语义仲裁。该框架首先利用VLM和LLM为每个样例提取细粒度文本标签，并通过层次聚类将其组织成语义标签树；由于树完全在标签空间中构建，在任意目标层级切割即可自然获得粒度统一的簇标签集合，避免了平面标签空间中的层次包含伪影。随后，框架识别在多轮VLM推理中簇分配保持稳定的可靠样例，将其作为剩余模糊样例的语义参考；对每个模糊样例，从其候选簇中检索代表性可靠样例并编织成上下文增强提示，提供具体且类别特定的证据，VLM据此进行推理并产生分配结果，使决策过程透明可追溯，同时避免强制跨模态对齐引入的噪声。

三、关键技术方法

研究人员采用以下主要技术方法：利用Qwen2.5-VL作为VLM对每个样例进行n=5次独立推理生成多样化细粒度语义描述；使用Qwen3-7B作为LLM从描述中提取候选语义标签，并通过语义清晰度阈值f=0.8过滤语义模糊样例；采用基于语义相似度的凝聚层次聚类算法构建语义标签树，其中语义相似度通过LLM生成标准化定义后经BGE-M3嵌入模型计算余弦相似度获得；使用DeepSeekV3作为LLM从层次聚类结果中推断最终簇语义标签空间；在簇分配阶段，使用DeepSeekVL2作为VLM执行R?=5轮初始推理以区分可靠与模糊样例，对模糊样例采用最大边际相关性（Maximal Marginal Relevance, MMR）算法从可靠样例中选取代表性样本构建上下文增强提示，并执行R?=7轮上下文增强推理与多轮投票确定最终标签。实验在STL10、CIFAR10、CIFAR100-20和ImageNet10四个公开基准数据集上进行。

四、研究结果

4.1 对比实验。 与四类最先进聚类方法（深度聚类方法、自监督聚类方法、外部知识引导方法、基于LLM的聚类方法）以及用户意图建模方法ICTC对比，SHCC在全部四个数据集上于NMI、ACC和ARI三项指标均取得最优性能。在CIFAR10上，SHCC超越第二优方法+3.3 NMI、+2.2 ACC和+4.0 ARI；在更具挑战性的CIFAR100-20上，超越最强知识引导基线GradNorm达+4.2 NMI和+1.9 ACC，且ACC达62.5%，显著超过依赖人工设计提示的用户交互方法ICTC（ACC 58.4%）。

4.2 簇语义标签空间构建有效性。 将层次语义聚类与简单LLM推理、真实标签三种构建策略对比，层次语义聚类在所有数据集和指标上均优于简单LLM推理，在STL10上甚至接近或超过真实标签性能。通过簇-类对齐矩阵（Cluster-Class Alignment Matrix）诊断分析发现，简单LLM推理无法将“卡车”识别为独立语义类别，错误地将其合并入包含“汽车”的“陆上交通工具”簇；而层次语义聚类通过结构化分解降低LLM推理复杂度，并通过层次约束保证语义无包含、无重叠，有效抑制了簇分裂与簇合并两类错误。

4.3 簇标签分配有效性。 对比零样本分配、层次映射分配与VLM推理分配三种策略，VLM推理分配一致优于前两者。在VLM推理范式内，集成投票仅带来边际增益（CIFAR100-20上+0.4 NMI），而上下文增强语义仲裁带来显著提升：在CIFAR100-20上较基线提升+1.6 NMI、+1.8 ACC和+1.3 ARI，远超集成投票增益。

4.4 上下文增强策略有效性。 对比无上下文、LLM生成上下文与基于可靠样例的上下文增强提示三种策略，LLM生成上下文在STL10和CIFAR10上甚至低于基线，表明冗长或抽象的语义线索可能干扰VLM视觉推理；而基于可靠样例的上下文增强提示在所有数据集和指标上均一致优于基线与LLM生成描述，在CIFAR10上较LLM生成提示提升+2.7 NMI，在CIFAR100-20上提升+3.0 NMI。跨模型泛化验证显示，DeepSeek-VL2、Qwen2.5-VL（3B–72B）和Qwen-VL-Max均获得一致性能提升，证实该方法具有架构与规模无关的普适性。

4.5 可解释性案例分析。 在STL-10上选取三个代表性误分类案例，上下文增强提示通过提供判别性语义锚点、功能属性参考和类别特定特征引导，分别解决了视觉相似类别间的分类边界模糊、语义粒度不一致以及遮挡条件下的决策鲁棒性问题，将VLM的错误分类纠正为正确分类。

4.6 消融实验。 在CIFAR100-20上对三个组件进行消融：去除非显式语义样例过滤使ACC下降1.6点且标准差六倍增大；去除层次聚类造成最大退化（ACC下降4.4点，ARI下降6.8点），且标准差增加超过十倍；去除上下文增强使ACC下降1.6点。完整框架在所有指标上均取得最优性能。

4.7 超参数敏感性分析。 R?（初始推理轮数）控制可靠集筛选严格程度，性能在R?=5后趋于饱和；R?（仲裁投票轮数）控制模糊样例消歧的投票阈值，NMI在R?=7附近饱和，R?=1时退化为单次推理获得最低NMI。

4.8 API调用复杂度分析。 SHCC框架完全通过云端大模型API调用运行，无需本地GPU资源。总体API调用复杂度为渐近线性O(N)，各阶段样例独立处理支持完全并行批量推理，端到端处理时间随数据集规模线性扩展。

五、结论与讨论

研究人员提出的SHCC框架通过构建粒度一致、语义无重叠的簇标签空间，并结合上下文增强语义仲裁机制，有效解决了语义辅助聚类中语义粒度不一致、跨模态语义冲突和语义监督利用不充分三大挑战。层次聚类将全局标签生成问题分解为结构化局部子问题，降低了LLM推理复杂度；层次约束天然防止语义包含与重叠，保证了标签的高判别性与粒度一致性。上下文增强仲裁机制通过多轮一致性投票识别可靠样例，并利用其构建判别性提示引导VLM对模糊样例进行可解释推理，既避免了强制跨模态对齐的噪声传播，又通过多轮投票抑制了单次推理的随机性。实验表明，SHCC在多个公开基准上取得一致且显著的性能提升，尤其在细粒度数据集上表现突出，为语义引导聚类提供了兼具准确性与可解释性的新范式。