摘要
平面标签监督（flat label supervision）通常会限制多标签图像分类，因为它难以完全捕捉标签之间的内在依赖关系。这种监督方式对视觉变换器（Vision Transformers）中自然产生的层次化特征提供的指导非常有限。为了解决这种结构不对齐的问题，我们提出了基于动态主题的层次化提示学习方法（Dynamic Topic-based Hierarchical Prompt Learning，简称DyT-HPL）。DyT-HPL不依赖于预定义的、固定的标签图谱，而是利用离线的层次聚类来构建多粒度的 Semantic Priors（语义先验），从而动态地生成层次化提示。一个固定的视觉查询分支负责生成稳定的语义查询，这些查询随后用于从构建好的粗-中-细 thirds of the prompts（提示池）中检索离散的提示。这些层次化提示会被自适应地插入到网络的不同层次中，确保在不同架构阶段引入适当抽象层次的语义指导。为了保持路由的稳定性并防止提示模式的崩溃，我们结合了对称分类（asymmetric classification）、替代匹配（surrogate matching）以及池内多样性损失（intra-pool diversity losses）来优化整体架构。这种三重设计不仅促进了提示空间的多样性，还将路由更新与最终预测分离开来。在MS-COCO、NUS-WIDE和Corel5k数据集上的全面实验表明，DyT-HPL在多种设置下都能保持一致且优异的性能，凸显了具有不同抽象层次的层次化语义指导的价值。
