ManiDream：基于原型锚定梦境的流形完备化方法，用于长尾视觉识别任务

《INTERNATIONAL JOURNAL OF COMPUTER VISION》：ManiDream: Manifold Completion via Prototype-Anchored Dreaming for Long-Tailed Visual Recognition

　　

摘要

长尾视觉识别任务受到尾类特征流形几何稀疏性的根本限制，数据匮乏会导致表示空间空洞且决策边界崩溃。虽然现有的平衡数据和解耦等方法能够减轻偏差，但它们只是被动地处理已观测样本，无法补充尾部分中缺失的语义信息。受大脑互补学习系统的启发，尤其是清醒时的预测编码与睡眠时的生成性巩固之间的相互作用，我们提出了ManiDream——一种基于生物启发的主动特征流形补全框架。该框架以有节奏的两阶段循环方式运行。首先，在在线感知阶段，我们引入了注意力预测估计器（APE），通过测量带有注意力权重的重建误差来检测语义意外情况。这一机制使模型能够精准定位并存储那些具有高认知不确定性的难处理样本。其次，在离线巩固阶段，我们设计了原型锚定梦境（PAD）机制。PAD利用残差生成模型在真实原型的几何邻近区域内主动合成高保真度的伪特征，从而在不引发语义偏移的情况下填补流形空白。至关重要的是，为了解决生成式增强过程中固有的特征能量衰减问题，我们引入了一种受物理学启发的元认知规范校正策略，该策略能够在分类器优化过程中保持特征范数的一致性，并维持有效的梯度幅度。在包括CIFAR-100-LT、CIFAR-10-LT、ImageNet-LT、iNaturalist 2018以及Places-LT在内的五个基准测试上的大量实验表明，ManiDream在标准的长尾识别任务中取得了具有竞争力或处于行业领先水平的性能，并且在大多数分布偏移情况下都能提升模型的鲁棒性，进一步证明了主动流形补全方法的有效性。