基于连续元数据条件化的参数高效视觉-语言适配技术，用于动物重新识别

《Expert Systems with Applications》：Parameter-Efficient Vision–Language Adaptation with Continuous Metadata Conditioning for Animal Re-Identification

　　阿尼尔·奥斯曼·图尔|托妮耶·克努森·索尔达伦|金·塔拉克森·哈尔沃森|西格德姆·贝扬•在提示空间中实现连续数值元数据条件控制。•针对动物ReID的参数高效CLIP适配方法。•用于鱼类ReID的考虑时间因素的纵向评估机制。•在身份特征和时间分布发生变化时仍能保持良好性能。引言动物重识别（ReID）指的是跨越不同时间对先前观测到的个体进行识别，长期以来一直是野生动物种群监测、捕捉-再捕捉研究以及行为生态学研究中的重要组成部分（McClintock等人，2014年）。在计算机视觉领域，这一术语更具体地指无需使用侵入性标记即可从图像或视频序列中识别出特定动物个体。自动化的视觉ReID技术使得在自然条件下进行大规模纵向追踪成为可能（Compte等人，2025年；黄等人，2025年；刘等人，2024年），不过这要求模型能够学习到具有身份区分能力的表征，从而仅依据随时间变化的视觉特征来匹配不同次出现的个体（Beyan等人，2026年；李等人，2020年；Nepovinnykh等人，2020年；Ravoor等人，2020年）。与人物或车辆ReID不同，动物ReID往往涉及长期重新观察，同一个体可能在数月甚至数年后才会再次被发现（Adam等人，2024年；白等人，2024年；Nepovinnykh等人，2022年）。这种场景带来了除了视角和光照变化之外的更多挑战：动物具有可变形的身体结构且姿态变化较大，而个体间的差异往往十分微妙且细致。此外，由于生长、季节性体色变化以及生命阶段的转换，动物的外观会随时间发生变化，这增加了个体内的差异性，使得在较长的时间跨度内进行身份匹配变得更加复杂（Beyan等人，2026年；Cermak等人，2024年；焦等人，2023年；Ravoor等人，2020年）。在本研究中，我们聚焦于鱼类ReID这一在渔业管理和种群监测方面具有生态学及经济意义的研究领域（Canovi等人，2024年；Olsen等人，2023年）。我们在Melops数据集上进行了实验（S?rdalen & Halvorsen，2025年；Sordalen等人，2026年），该数据集包含了七年来收集的野生软鳍鱼（Symphodus melops）的图像，共计约24,000张图像，涵盖9,000只带有PIT标签的个体，其中约有3,000次在不同年份间的重新观测记录。Melops数据集体现了一种完全在野外环境下收集数据的方式，其图像是在生物监测框架下获取并标注的，因此能够反映真实的纵向变化情况，而非经过筛选的短期观测结果。该数据集具备许多现有动物ReID基准数据集中所没有的特点：首先，由于个体在多年的时间里会经历自然生长和季节性体色变化，因此存在显著的纵向变化；其次，身份分布极不均衡，大多数个体仅被观测到一次，只有少数个体会被反复发现；第三，该数据集还提供了丰富的捕获级元数据，包括体长、形态类型、繁殖状态、地理位置以及精确的捕获日期。这些特性使得Melops成为研究长期身份稳定性以及基于元数据的表征学习的理想且具生态现实意义的基准数据集。近年来，视觉语言模型（VLMs），尤其是CLIP模型（Radford等人，2021年），通过从大规模的图像-文本数据中学习可迁移的视觉表征，为ReID任务提供了强大的预训练基础。这种大规模预训练有助于提高模型对个体间细微差异以及随时间逐渐发生的外观变化的适应能力，而这些正是长期动物监测中常见的情况。基于CLIP的ReID方法通过引入特定于身份的可学习文本令牌，并利用跨模态对齐损失来对预训练编码器进行适配。例如，CLIP-ReID方法（Li等人，2023年）采用两阶段训练策略：首先在保持两个编码器不变的情况下优化特定于身份的文本令牌，随后再根据所学到的文本表征对图像编码器进行微调。类似地，IndivAID方法（Wu等人，2024年）也采用两阶段框架：首先由文本描述生成器生成针对个体和图像的特定文本描述，然后通过注意力模块将这些描述合并起来，以此指导图像编码器的微调。尽管这些方法展示了利用CLIP的跨模态结构进行ReID任务的优点，但它们仍然依赖于分阶段的优化流程以及额外的组件来协调视觉特征和文本特征之间的相互作用。在需要保持身份稳定而外观又会在较长时间跨度内发生变化的长期动物ReID任务中，人们希望以稳定且参数高效的方式对预训练得到的表征进行适配，同时无需大幅扩展模型架构。此外，在许多生态监测项目中，除了视觉观测结果之外，还会伴随有结构化的数值属性，如捕获时间、体型大小或繁殖状态等。这些属性具有生物学意义，且可能与随时间发生的系统性外观变化存在关联。现有的方法，如Adam等人（2024年）和Li等人（2025年）的做法，通常是通过将元数据转换为离散的文本描述，或者通过额外的基于注意力的融合机制来整合元数据。然而，直接在可学习的提示表征中融入连续的数值元数据，且不引入额外的专家分支、跨注意力模块或在推理时依赖元数据，这一方法在动物ReID领域至今仍未得到充分探索。在本研究中，我们提出了一种基于冻结版CLIP骨干网络的、用于动物ReID的参数高效适配框架。我们的方法同时优化视觉编码器中的低秩视觉适配（LoRA）模块（Hu等人，2022年）以及可学习的提示上下文令牌，同时保留固定的模板令牌。与分阶段优化策略不同，视觉适配参数和提示参数都是在统一的目标函数下端到端共同优化的。在训练过程中，投影后的视觉特征与经过身份条件处理的文本嵌入之间的跨模态对比对齐机制进一步优化了共享的嵌入空间结构。在推理阶段，则会丢弃所有与文本相关的组件和元数据输入，仅通过视觉描述符进行最近邻检索来完成ReID任务。这样的设计使得模型在部署时无需依赖推理时的元数据或辅助模块，同时还能保留预训练模型原有的通用视觉知识，并通过少量额外的可训练参数来实现适配。为了解决长期外观变化带来的问题，我们还引入了连续元数据条件控制机制。我们没有将数值属性离散化为符号化的文本令牌，而是直接将其注入到可学习的提示表征中，从而保留其数值结构。这样一来，元数据就能够对嵌入空间实现平滑的几何调控，相比逐级的符号化离散处理，这种方式更能与度量学习的目标相契合。我们研究了正弦波编码以及基于FiLM的调制机制，以便在训练过程中对提示进行条件控制，让元数据能够在不引入额外融合分支或注意力模块的情况下影响表征学习过程。我们在四种评估方案下测试了我们的方法：封闭集、开放集、考虑时间因素的封闭集以及考虑时间因素的开放集，这四种方案旨在模拟真实的部署场景。在所有这些场景下，我们的方法都相较于基于CLIP的基线方法取得了更好的性能。无论是在封闭集还是开放集条件下，我们的方法都能展现出显著的性能提升，而在需要考虑时间因素的评估中，元数据条件控制机制更是进一步提升了性能。此外，我们在包括鱼类之外的多种动物在内的多个基准数据集上进行的实验也证明了该方法在不同物种和数据获取条件下的良好泛化能力。虽然我们的框架借鉴了LoRA（Hu等人，2022年）和提示学习等成熟技术，但本研究最主要的贡献在于为在ReID任务中融入元数据提供了一种全新的思路。我们并非将元数据视为离散的令牌或辅助模态，而是将其视为一种在训练过程中使用的连续条件信号，用来塑造嵌入空间的结构。这样一来，不仅能够平滑地适应长期外观变化，更重要的是，由于消除了测试时对元数据的依赖，从而实现了表征学习与推理需求的分离。总之，我们的贡献如下：•连续元数据条件控制的提示学习。我们提出了一种元数据条件控制机制，可将数值元数据直接嵌入到提示表征中，避免了离散化处理，同时也无需额外的融合模块。这种设计能够实现嵌入空间的平滑调控，更符合长期动物ReID任务中存在的渐进式时间和形态变化特点。•仅在训练阶段使用的元数据条件控制，无推理时依赖。我们提出了一种新的处理方式，即仅在训练阶段利用元数据来塑造表征空间，而在推理阶段则移除所有的元数据及相关文本组件。这样一来，就能实现纯粹的视觉驱动型部署流程，这与以往那些在推理阶段也需要依赖元数据的多模态方法有所不同。•统一的端到端参数高效适配框架。我们开发了一种单阶段训练策略，在冻结版的CLIP骨干网络基础上，同时优化低秩视觉适配、可学习的提示上下文令牌以及对称的跨模态对比对齐机制。与以往的分阶段或多组件处理方式不同，我们的方法能够在不进行完整骨干网络微调的情况下实现稳定且高效的适配。•考虑时间因素的纵向评估机制与时间分析方法。我们设计了考虑时间因素的评估方案，能够明确模拟时间分布的变化情况，同时还通过对识别性能与时间距离之间关系的实证分析，揭示了长期外观变化所带来的影响。•在多个数据集上的全面实证验证。我们在多种评估场景以及不同的野生动物基准数据集上进行了测试，结果表明，与基于CLIP的基线方法相比，我们的方法在保持较低可训练参数数量的同时，依然能够展现出出色的泛化性能。本文的其余部分结构如下：第2节回顾了动物ReID、长期野生动物数据集、用于动物ReID的视觉语言模型以及参数高效适配策略等相关研究内容。第3节介绍了我们所提出的框架，包括低秩视觉适配、提示学习以及连续元数据条件控制机制。第4节阐述了实验设置、评估方案、实现细节以及实证结果。第5节探讨了研究结果及其对长期生态ReID研究的意义，第6节则对全文进行总结。片段摘录动物ReID尽管在人物和车辆分析领域，自动化ReID技术已经得到了广泛研究（Khan & Ullah，2019年；Li等人，2018年；Quan等人，2019年；Zhang等人，2025年；Zhu等人，2020年），但动物ReID作为一项新兴的重要研究方向，近年来发展势头迅猛。它在野生动物监测、生态学研究以及畜牧业管理中发挥着关键作用，能够帮助人们无需进行侵入性操作即可通过图像识别出不同的个体。提出的方法给定一个包含图像-身份对{(xi,yi)}i=1N的训练数据集，其中xi∈RH×W×3表示输入图像，yi∈{1,…,C}则表示对应的身份标签，Re-ID任务的目标就是学习一个嵌入函数f:X→Rd，使得相同身份的图像在共享的特征空间中彼此靠近，而不同身份的图像则相互分离。为此，我们提出了一种基于冻结版视觉语言骨干网络的参数高效适配框架，该框架能够生成具有身份识别能力的视觉表征。实验分析在本节中，我们首先介绍数据集、评估方案以及实现细节，接着展示在不同评估场景下的定量测试结果，随后通过消融实验分析所提框架中各个组件的作用，最后还会在外部基准数据集上开展额外实验，以评估方法的泛化能力。讨论实验结果展示了所提框架在真实的长期生态条件下的表现。从绝对性能水平来看，Melops数据集中的长期生态ReID任务难度极大，因为该数据集包含了近10,000只独特的个体，而且其身份分布极不均衡，属于长尾分布类型。大多数个体仅被观测到一次，只有少数个体会在不同年份中被多次捕获。这种稀疏的按身份采样情况……结论在本文中，我们提出了一种用于长期动物ReID任务的参数高效视觉-语言适配框架。该框架将基于LoRA的视觉适配、提示学习以及跨模态对齐机制结合在冻结版的CLIP骨干网络之中，同时还引入了一种连续元数据条件控制机制，该机制将数值元数据作为仅在训练阶段使用的条件信号纳入其中。与以往那些将元数据离散化为文本类别或需要在推理阶段使用元数据的方法不同……资金支持声明本研究得到了挪威研究委员会的支持，项目名称为“利用计算机视觉技术拓展沿海鱼类监测范围并加快相关评估工作（CoastVision）”，项目编号为325862。CRediT作者贡献说明阿尼尔·奥斯曼·图尔：负责软件开发、方法设计以及论文撰写工作。托妮耶·克努森·索尔达伦：负责数据整理、验证、研究分析、论文撰写以及资金筹集工作。金·塔拉克森·哈尔沃森：负责数据整理、验证、研究分析、论文撰写以及资金筹集工作。西格德姆·贝扬：负责研究构思、方法设计、监督工作、资金筹集以及论文撰写。利益冲突声明作者声明自己不存在任何可能影响本文研究结果的已知财务利益或个人关系。