面向无样本终身行人重识别的可扩展记忆合成

《Neural Networks》：Scalable Memory Synthesis for Exemplar-Free Lifelong Person Re-Identification

　　

•本文提出了可扩展记忆合成（SMSyn），通过特征空间记忆合成进行重放以及几何感知正则化，在持续更新过程中保留先前学习到的身份嵌入几何结构，从而缓解灾难性遗忘。•提出了一种原型变分合成器（PVS），通过原型引导的伪特征生成来重建历史身份知识，从而实现面向终身重识别的可控重放。•提出特征空间保持（FSP）作为显式的几何控制器，通过在终身更新过程中对真实特征和合成特征进行正则化，使各类保持紧凑且良好分离，从而跨域保持嵌入几何结构。

引言

终身行人重识别（LReID）研究的是在序列多域设置下的行人重识别问题，其中训练数据随时间推移依次到达。与在固定数据集上进行训练不同，LReID模型需要逐步在一系列域上进行训练，例如不同的摄像头、地点或时间段。在每个阶段，模型在当前域上更新参数，同时仍需要识别先前域中出现的身份。

LReID中的一个核心挑战是灾难性遗忘。随着模型适应新域，其在先前见过的域上的性能往往会下降。现有的LReID方法包括基于重放的和无示例方案。基于重放的方法存储先前域中的示例图像，并联合训练这些示例和新数据，该策略有助于缓解遗忘。然而，存储旧域的示例会产生不可忽视的内存开销，尤其当域数或身份数量较大时。

为避免存储真实图像，近期研究探索了无示例的LReID方法。一些方法在模型或统计层面通过知识蒸馏、兼容性学习或基于原型的表示来保留过去知识。这些方法通常通过匹配预测或紧凑统计量来间接影响旧身份的特征分布。还有一些方法生成伪图像来近似过去域的数据分布。然而，这类像素级重放策略主要对齐低级外观统计量（如颜色和风格），但往往缺乏对嵌入空间中旧身份几何结构的显式约束。因此，过去域的性能逐渐下降，遗忘变得更加严重。如图1(a)所示，旧域和新域的特征分布在嵌入空间中仍然分离，表明存在持续的域差距。更关键的是，在这种漂移下，旧身份的几何结构退化：其特征中心发生漂移，类内方差增加。图1(b)进一步表明，在间接几何保持下，旧域的身份几何结构逐渐变得分散和重叠。随着训练的持续，基于距离的最近邻排序对于旧身份查询变得不稳定，导致检索失败。这些观察表明，在持续更新过程中，历史身份的几何结构很容易崩溃并与新身份的几何结构纠缠在一起。当这种情况发生时，属于旧身份的特征变得分散并与其他人的特征混合，使最近邻匹配不稳定，过去域的检索性能下降。因此，在无示例LReID中，显式保持旧域的身份几何结构仍然具有挑战性。

为解决这一问题，本文提出了可扩展记忆合成（SMSyn），一个无示例的LReID框架，在持续更新过程中执行可控的特征重放并显式保持身份几何结构。SMSyn由两个关键组件组成：（1）为克服存储示例的缺失和过去域特征的稀疏性，提出原型变分合成器（PVS），围绕历史原型生成特征级伪样本。这些样本在不存储真实图像的情况下为过去域构建合成记忆。（2）为缓解身份几何结构的渐进性退化，提出特征空间保持（FSP）模块。FSP将合成特征拉向其类别中心并正则化局部邻域关系，有助于在嵌入空间中保持历史身份的几何结构。如图1(c)所示，SMSyn为旧身份产生更紧凑且分离更好的聚类，使旧域查询能够通过基于距离的排序检索到正确的最近邻。在标准无示例LReID基准上的大量实验表明，SMSyn有效缓解了旧域上的灾难性遗忘，并与现有方法相比取得了强劲的整体性能。

主要贡献总结如下：

•本文提出了可扩展记忆合成（SMSyn），一个合成-保持框架，通过可重放的特征记忆合成和几何约束在持续更新中保留旧身份几何结构，从而缓解遗忘。•设计了原型变分合成器（PVS），围绕历史身份生成伪样本，从而丰富和重建历史知识，同时提供可控的特征级重放。•基于合成记忆，提出了特征空间保持（FSP）模块，将合成特征拉向其类别中心，正则化类间关系以及局部邻域结构，以缓解嵌入空间中的几何畸变。

**问题定义**

在无示例LReID任务中，训练数据作为T个数据集的序列到达：D = {Dt} (t=1到T)。每个域Dt = {(xi, yi)} (i=1到nt) 由nt个图像-标签对组成，其中xi是行人图像，yi是其身份。当第t个数据集Dt给出时，由于无示例约束，前t-1个域的数据不再可访问。在完成Dt上的训练后，更新后的模型记为Mt。最终模型MT在T个测试集上进行评估。

**数据集与评估指标**

数据集：我们采用标准LReID基准（Pu等人，2021），其中包含五个训练子集，来自现有LReID基准，包括Market-1501、DukeMTMC-reID、CUHK-SYSU、MSMT17-v2、CUHK03，以及七个新子集，即CUHK01、CUHK02、VIPeR、PRID、iLIDS、GRID等。

**结论**

本文提出了SMSyn，一个用于终身行人重识别的无示例框架，通过保持特征空间中的身份几何结构来缓解遗忘。为在不存储过去样本的情况下回忆旧知识，PVS生成以原型为条件的伪特征，实现可控的特征级演练。为抑制持续更新和合成扩展引起的几何漂移，FSP通过CCR、Proto-KD和Struct-KD对真实特征和伪特征进行正则化，并结合潜在变量进行优化。

**作者贡献声明**

韩才刘：写作 – 审阅与编辑，写作 – 初稿撰写，可视化，验证，资源，方法论，调查，形式化分析，数据管理，概念化。田继灿：软件，调查，形式化分析，数据管理，概念化。杨海峰：调查，数据管理，概念化。彭金佳：写作 – 审阅与编辑，监督，资源，项目管理，调查，资金获取，形式化分析，数据管理。

**利益冲突声明**

作者声明他们没有已知的竞争经济利益或个人关系可能影响本文所报告的工作。

**致谢**

本研究得到了国家自然科学基金（62501226）、河北省自然科学基金（F2025201037）、石家庄市河北省高校基础研究项目（241791387A）、河北大学交叉学科研究计划（DXK202404）的支持。

韩才刘 | 田继灿 | 杨海峰 | 彭金佳 | 王慧兵