融合-分割协作学习方法在无监督可见光-红外人体重识别中的应用

《Image and Vision Computing》：Merge-split collaborative learning for unsupervised visible-infrared person re-identification

本文提出合并-分裂协同学习（MSCL）框架，通过集群合并匹配（CMM）模块解决跨模态聚类不均衡问题，并利用集群分裂学习（CSL）模块挖掘内聚性多样性，提升无监督可见-红外人像重识别性能，在SYSU-MM01和RegDB数据集上验证有效。

　　在当今智能监控技术迅猛发展的背景下，人脸识别与重识别技术成为了提升系统性能的重要手段。尤其是在可见光与红外图像跨模态识别领域，由于不同光照条件下的图像特征存在显著差异，如何实现两种模态图像之间的准确匹配成为研究的热点。可见光与红外图像跨模态重识别（Unsupervised Visible-Infrared Person Re-Identification, UVI-ReID）任务旨在在不依赖人工标注标签的前提下，实现对同一身份个体在可见光和红外图像之间的识别与匹配。这类方法广泛应用于夜间监控、恶劣天气环境下的目标识别等场景，具有重要的现实意义。

然而，现有的UVI-ReID方法在提升识别性能的同时，也面临一些挑战。一方面，跨模态聚类匹配过程往往忽略了匹配结果的公平性，导致部分图像被过度匹配或匹配不足，从而影响整体性能。另一方面，聚类中心作为主要的监督信号，通常无法全面反映图像内部的多样性特征，这使得模型在学习过程中可能遗漏关键信息，降低识别的准确性。为了解决这些问题，本文提出了一种名为“Merge-Split Collaborative Learning”（MSCL）的新方法，通过引入“Cluster Merge Matching”（CMM）和“Cluster Split Learning”（CSL）两个核心模块，提升跨模态识别的公平性和多样性，从而提高模型的识别能力。

### 跨模态识别的基本原理

在可见光与红外图像跨模态重识别任务中，模型需要在没有人工标注的前提下，学习如何将不同模态的图像映射到一个统一的特征空间，使得同一身份的图像在该空间中具有较高的相似度。传统的做法是先在每种模态中进行聚类，生成伪标签，然后通过跨模态匹配，将不同模态的图像对应到同一身份。然而，这种方法在实际应用中存在两个关键问题：一是跨模态匹配的公平性不足，二是图像内部的多样性未能被充分挖掘。

跨模态匹配的公平性问题主要体现在聚类数量的不一致上。通常，可见光图像的聚类数量多于红外图像，这会导致在匹配过程中，某些红外图像的聚类被过度匹配，而另一些可见光图像的聚类则匹配不足。这种不均衡的匹配方式可能影响模型的泛化能力，特别是在实际部署中，图像数据的分布可能更加复杂，从而降低识别的准确性。此外，传统的聚类方法往往将图像特征与聚类中心进行对齐，而忽视了图像内部的多样性，使得模型无法有效捕捉到不同图像之间的细微差异，影响识别效果。

### MSCL方法的核心思想

为了解决上述问题，本文提出了一种名为MSCL的新型方法。该方法通过引入“CMM”和“CSL”两个模块，分别从跨模态匹配的公平性和图像内部多样性两个角度出发，提升模型的识别能力。具体而言，CMM模块首先对聚类数量较多的模态（如可见光图像）进行自底向上的层次化聚类，通过逐步合并高度相似的聚类，使得两种模态的聚类数量趋于一致。然后，在两种模态之间进行等数量的聚类匹配，从而保证匹配过程的公平性。CSL模块则在聚类过程中引入更严格的聚类标准，将原始聚类进一步细分为多个子聚类。通过使用这些子聚类的中心作为监督信号，模型能够更好地捕捉图像内部的多样性特征，提升识别的准确性。

CMM模块的核心在于如何处理聚类数量不一致的问题。传统的做法是直接对两种模态的聚类进行一一对应，但由于聚类数量不同，这种方法可能导致某些聚类被匹配多次，而另一些聚类则被忽略。CMM模块通过层次化聚类的方式，对聚类数量较多的模态进行合并，使得两种模态的聚类数量一致。这种做法不仅提高了匹配的公平性，还减少了由于聚类数量不一致导致的匹配偏差。随后，模型在两种模态之间进行等数量的聚类匹配，确保每个聚类都有对应的匹配结果，从而提高匹配的可靠性。

CSL模块则关注于图像内部的多样性。传统的聚类方法通常将图像特征与聚类中心进行对齐，而忽略了图像内部的细微差异。这种做法可能导致模型无法有效区分不同个体之间的相似图像，从而降低识别的准确性。CSL模块通过引入更严格的聚类标准，将原始聚类进一步细分为多个子聚类，使得每个子聚类能够更好地反映图像内部的多样性特征。在后续的优化过程中，模型使用这些子聚类的中心作为监督信号，从而引导编码器学习更加丰富的特征表示。这种方法不仅提高了模型对图像内部多样性的感知能力，还增强了其在不同光照条件下的鲁棒性。

### 实验与结果分析

为了验证MSCL方法的有效性，本文在两个常用的可见光与红外图像跨模态重识别数据集上进行了实验，分别是SYSU-MM01和RegDB。这两个数据集是目前可见光与红外跨模态重识别任务中广泛使用的基准数据集，具有较高的代表性和挑战性。实验结果表明，MSCL方法在跨模态匹配的公平性和图像内部多样性方面均优于现有的UVI-ReID方法，同时在识别性能上也表现出色，甚至在某些情况下可以与监督方法相媲美。

在实验设置中，模型首先在可见光和红外图像上分别进行聚类，生成伪标签。然后，通过CMM模块对聚类数量较多的模态进行层次化聚类，逐步合并高度相似的聚类，使得两种模态的聚类数量一致。接下来，模型在两种模态之间进行等数量的聚类匹配，确保匹配过程的公平性。同时，CSL模块通过引入更严格的聚类标准，将原始聚类进一步细分为多个子聚类，并使用这些子聚类的中心作为监督信号，引导编码器学习更加丰富的特征表示。

实验结果表明，CMM模块在提升跨模态匹配的公平性方面发挥了重要作用。通过逐步合并高度相似的聚类，模型能够更均匀地分配匹配结果，避免某些聚类被过度匹配或匹配不足的情况。此外，CSL模块在提升图像内部多样性方面也表现出色。通过将原始聚类细分为多个子聚类，模型能够更好地捕捉到图像内部的细微差异，从而提高识别的准确性。在两个数据集上的实验结果均显示，MSCL方法在跨模态匹配的公平性和多样性方面优于现有方法，同时在识别性能上也取得了显著提升。

### 方法的优势与创新点

MSCL方法的创新点在于其对跨模态匹配公平性和图像内部多样性的双重关注。首先，CMM模块通过层次化聚类的方式，解决了传统方法中聚类数量不一致导致的匹配不公平问题。这种方法不仅提高了匹配的可靠性，还使得模型在不同光照条件下的表现更加稳定。其次，CSL模块通过引入更严格的聚类标准，将原始聚类细分为多个子聚类，从而更好地捕捉图像内部的多样性特征。这种方法使得模型能够更全面地学习到不同个体之间的细微差异，提高识别的准确性。

此外，MSCL方法在优化过程中充分利用了子聚类的中心作为监督信号，使得编码器能够学习到更加丰富的特征表示。这种方法不仅提高了模型的识别能力，还增强了其在不同光照条件下的鲁棒性。通过结合CMM和CSL模块，MSCL方法在跨模态识别任务中实现了更高的准确率和更稳定的性能。

### 应用前景与意义

随着智能监控技术的不断发展，可见光与红外图像跨模态重识别技术在实际应用中具有广阔的前景。该技术可以应用于夜间监控、恶劣天气下的目标识别、隐蔽环境下的身份识别等场景。MSCL方法的提出，不仅为跨模态重识别任务提供了一种新的解决方案，还为后续研究提供了重要的参考。通过提升跨模态匹配的公平性和图像内部的多样性，MSCL方法有望在实际应用中取得更好的效果，为智能监控系统的性能提升做出贡献。

总之，本文提出的MSCL方法在可见光与红外图像跨模态重识别任务中展现出了显著的优势。通过引入CMM和CSL模块，MSCL方法不仅解决了传统方法中跨模态匹配不公平的问题，还提升了图像内部多样性的挖掘能力。实验结果表明，该方法在两个常用数据集上均取得了优异的性能，具有重要的应用价值和研究意义。