基于对比互补学习的深度多模态聚类中共享特征与特定特征的区分方法

《Pattern Recognition Letters》：Disentangling shared and Specific Features in Deep Multimodal Clustering with Contrastive-Complementary Learning

　　唐·J·耶茨|哈基·埃尔汉·塞维尔|阿拉什·马赫亚里•无需强制独立即可实现共享空间与视图特定空间的解耦。•通过互补学习减少视图特定信息对共享特征的渗透。•共享空间与视图特定空间的独立性并非必要，且往往有害。•多视图数据集与多表示数据集之间的差异。引言多视图（多模态）数据自然来源于多个传感器、观测视角、时间序列观测或不同的特征模态。多视图聚类的核心挑战在于发现能够捕捉视图不变语义的潜在结构，同时保留那些能够提升区分度的互补的、视图特定的信息，尤其是在不同视图提供非冗余证据时。尽管深度多视图聚类方法在标准基准测试中取得了令人满意的结果，但许多现有方法仍存在潜在因子相互纠缠以及概率假设过于严格的问题[1]、[2]。一种常见的策略是将表示分解为共享部分和私有部分，并强制要求二者之间具有条件独立性或严格的去相关性。然而，在现实的数据生成环境中，共享因素与视图特定因素往往在统计上是相互关联的。强制独立性反而会抑制有用的跨视图依赖关系，削弱模型保留互补信息的能力。另一种相关问题则是共享潜在信息的泄漏，即对齐目标会将相关的视图特定信息拉入共享表示中，这会降低共享空间的语义纯度，破坏共同因素与视图特定因素之间的分离。为了解决这些问题，我们提出了C3U-MVC，这是一种基于优化导向的对比-互补框架，用于深度嵌入式多视图聚类，它不需要假设条件独立性，即可实现共同（共享）表示与独特（视图特定）表示的分离。该模型仅对共享通道应用对比对齐，而通过结合共享潜在信息与视图特定潜在信息进行重构，则可以保留互补信息。随后通过原型引导的优化阶段，利用原型条件下的重构及最佳视图误差选择，来支持更稳健的聚类结果。我们的贡献如下：•通过简单但具有代表性的反例，我们证明了在现实的数据生成环境中，共享因素与视图特定因素之间通常不存在条件独立性，这为无需考虑独立性的建模提供了依据。•我们提出了一种双编码器、单解码器架构，其中对比对齐仅应用于共享通道，而通过结合共享潜在信息与视图特定潜在信息进行重构，则可以在无需显式独立性或正交性约束的情况下保留互补信息。•我们提出了一种基于原型条件重构及最佳视图误差选择的原型引导优化与分配机制，使得聚类决策能够根据不同实例中的视图效用差异进行调整。•我们在构建的图像对基准测试、真实的多视图数据集以及多样化的Caltech-101子集中都展示了出色的实证性能，尤其是在存在真正互补的视图依赖信息时，效果更为显著。先前的研究已经探讨过共享/私有分解的方法，一些方法则放宽或避免了显式的独立性和去相关性约束，包括深度CCA变体以及域分离网络[3]、[4]、[5]。不过，这些方法并非围绕共享型对比对齐、互补重构以及基于原型的分配这一面向聚类的组合设计。C3U-MVC在三个方面有所不同：（i）对比对齐仅限于共享通道；（ii）通过结合共享潜在信息与视图特定潜在信息进行重构，作为一种无需独立性正则化机制的软性互补信息保留方式；（iii）基于原型条件重构并结合最佳视图选择，形成一种自适应的多视图分配规则。片段分享与视图特定表示许多多视图方法依赖于自编码器将高维数据映射到低维空间，并通过重构项来维持结构[6]。然而，如果同时加入共享嵌入相似性这一额外目标，就会导致目标之间的冲突。为了解决这一冲突，深度多视图聚类中的一种常见策略是将潜在变量分解为共享代码c(v)和视图特定代码u(v)，通常是通过添加VAE目标来实现。分享与视图特定表示我们证明，通常情况下，假设视图不变因素与视图特定因素之间存在条件独立性是不成立的。示例1：私有因素中的依赖关系设S～Bernoulli(0.5)（共享语义），U∣S～Bernoulli[数学处理错误](0.9{S=1}+0.1{S=0})（视图1的私有信息）。此时虽然U⊥⊥S，但U仍然只能影响视图1。示例2：碰撞效应导致的依赖关系即便事先有S⊥U的关系，但由于观测条件的限制（视图1中的异或操作），就会出现S?⊥⊥U∣V1的情况，这就是伯克森悖论。示例3：非线性依赖关系设S～N(0,1)，U=S2，此时虽然Cov(S,U)=0，但两者之间存在最大程度的依赖关系。这些反例为我们采用无需独立性假设的方法提供了依据。方法考虑一个多视图数据集X={xi(v)}i=1N,v=1,?,V，其中每个实体i都在V个视角下被观测到，xi(v)∈RC×H×W表示样本i的第v个视角的图像。该数据集假定包含K个潜在聚类。我们的目标是学习：（i）能够捕捉视图不变语义的共享（共同）潜在表示；（ii）能够保留互补细节的视图特定（独特）表示；（iii）一组用于支持聚类及基于原型决策的共享空间原型。数据集与实验设置我们在多种常用的多视图聚类基准测试上进行了评估，这些测试涵盖了构建的图像对数据集（MNIST-USPS [14]、Fashion-MNIST [15]、CIFAR-10 [16]、STL-10 [17]）以及真实的多视图数据集（COIL-20 [18]、MVP-N [19]）。此处，构建的多视图数据集指的是那些从单一底层图像源合成出多个视图的数据集，而非同时从不同传感器或相机获取的视图。我们还评估了四个具有不同视图数量的Caltech-101子集。讨论与结论来自不同传感器、观测视角或多样化特征集的多模态数据既包含共享的语义信息，也包含视图特定的互补信息。许多深度多视图聚类方法试图通过强制共享潜在变量与私有潜在变量之间具有条件独立性或严格的去相关性来分离这些因素。我们认为，这类假设往往过于严格，会抑制有价值的跨视图依赖关系。为了解决这一问题，我们提出了C3U-MVC。未标注的图表缺失引用。图1。CRediT作者贡献声明唐·J·耶茨：撰写——初稿、软件开发、方法设计、概念构思。哈基·埃尔汉·塞维尔：撰写——审稿与编辑、项目监督、项目管理。阿拉什·马赫亚里：撰写——审稿与编辑、项目监督、项目管理。利益冲突声明作者声明，他们没有已知的可能影响本文所述工作的财务利益或个人关系。