《Pattern Recognition》：Hybrid Explicit and Implicit Encoding for Multi-View Representation Learning
编辑推荐：
多视图表示学习通过整合隐式编码（捕获非线性语义特征）和显式编码（生成稀疏可解释表示），结合信息流机制动态平衡特征提取与压缩，并引入互信息损失优化融合策略，通过双级对齐模块提升内视一致性及类间可分性，有效解决现有方法在可解释性、可扩展性及信息冗余问题，实验验证其聚类性能显著优于基线方法。
姚书晨|张宇生|严伟青|唐昌|岳光辉|苏凯乐|金建
中国烟台大学计算机与控制工程学院，烟台，264005
摘要
在推进多模态信息融合和具身智能的背景下，多视图表示学习在从不同数据视角建模互补信息方面发挥着关键作用，以提高感知和决策能力。现有方法在有效结合隐式和显式编码策略方面存在局限性。基于深度网络的隐式编码往往难以解释复杂的潜在特征，并且缺乏有效的稀疏性和压缩性，导致表示效率低下。相反，传统的显式编码方法在表示能力上有限，尤其是在处理高维数据时，无法捕捉复杂且有意义的特征。一些深度子空间编码方法旨在通过压缩表示来改进特征表示和可解释性。然而，这些方法依赖于整个样本空间的自我表示，这在处理大型数据集时会导致可扩展性问题。为了解决这些限制，我们提出了HEIM，这是一种新颖的混合编码框架，它通过信息流机制整合了隐式和显式编码器。该框架根据视图特定特征动态调节来自两种编码器的特征提取，平衡了深度特征提取和可解释的稀疏表示。在多视图表示融合阶段，我们引入了互信息损失项以最大化一致性并减少融合表示之间的冗余。此外，我们设计了一个双级对齐模块，以确保视图内部的紧凑性和增强类别间的区分度。实验结果表明，我们的方法优于现有方法，显著提高了聚类性能。
引言
多视图表示学习旨在从异构视图中提取一致且互补的信息，其中编码器的设计从根本上决定了学习到的表示的质量、可解释性和可扩展性。现有方法主要依赖于两种不同的编码范式：隐式编码和显式编码。隐式编码器通常使用深度神经网络实现，可以自动从数据中捕获复杂的语义和结构模式。由于其强大的表示能力，隐式编码在多视图聚类方面取得了显著的成功[1]、[2]、[3]。这些方法通过增强跨视图对比对齐[4]、[5]、[6]或提取具有区分性的视图特定特征[7]、[8]、[9]，或通过多种融合机制构建统一表示[10]、[11]、[12]、[13]来提高聚类性能。然而，隐式编码器作为高度非线性和不透明的转换，使其内部决策过程难以解释或控制。这种缺乏透明性给表示学习带来了不确定性，并限制了其在无监督环境中的可靠性，而在这些环境中可解释性和稳定性至关重要。
相比之下，显式编码方法[14]、[15]侧重于从子空间学习[16]、[17]、[18]、[19]、矩阵分解[20]、[21]、图学习[23]、[24]或信息论原理[25]中得出的结构化和可解释的表示。这些方法提供了清晰的数学公式，使得表示构建和可解释性得到改进。基于稀疏编码、字典学习和最大编码率降低的最新进展[26]进一步展示了显式编码在学习紧凑表示方面的潜力。然而，显式编码器的表示灵活性有限，限制了它们捕捉复杂非线性结构的能力。此外，许多显式编码方法依赖于自我表示机制[18]、[27]、[28]，这需要在整个数据集上构建密集的亲和矩阵。这导致了二次方的记忆和计算复杂性，严重限制了其在大规模或高维场景中的可扩展性。
受到这些限制的启发，我们提出了一个原则性的混合编码框架HEIM，它在统一的表示学习范式中系统地整合了隐式抽象和显式调节。具体来说，HEIM引入了一个隐式编码器来捕获非线性的、视图不变的语义结构，而显式编码器作为一个可解释的调节器，通过小批量压缩和稀疏性感知约束来抑制冗余。这种设计直接解决了传统显式编码的可扩展性限制，同时保持了可解释性和结构规正性。为了确保有效的多视图集成，我们进一步提出了一种基于互信息的融合策略，并结合了跨视图规正，这在保持视图特定互补信息的同时明确强制了语义一致性，从而防止了现有融合方法中常见的表示崩溃。最后，我们引入了一个双级对齐机制，共同执行特征级和簇级对比学习，确保了视图内部的紧凑性和类别间的可分离性。通过在一个统一的框架内紧密耦合编码、融合和对齐，HEIM提供了一个可扩展的、可解释的、结构连贯的多视图聚类解决方案。我们的贡献总结如下：
1) 我们引入了一种新颖的混合编码器架构，它整合了隐式抽象和显式调节，实现了超越传统混合设计的可解释和可扩展的编码。
2) 我们提出了一种基于互信息的融合策略，并结合了跨视图规正，这在理论上平衡了视图间的一致性和视图特定的多样性，克服了先前工作中的表示崩溃问题。
3) 我们设计了一个双级对比对齐机制，共同优化了特征的紧凑性和簇的分离性，提供了一个统一的视角，将编码、融合和聚类结合在一个框架中。
部分摘录
基于隐式编码器的多视图学习。
隐式编码器已成为表示学习的强大工具，因为它们可以通过编码-解码过程直接从原始数据中提取有意义的特征[29]、[30]。它们在发现潜在模式、相关性和层次结构方面特别有效，这使得它们在聚类任务中非常有价值[31]、[32]、[33]。然而，一个明显的限制是，尽管它们能够产生强大的特征
提出的方法
在本节中，我们介绍了所提出的多视图表示策略，该策略结合了显式编码和隐式编码，如图1所示。我们依次描述了模型的三个模块，即混合隐式和显式编码模块（HIEE）、基于互信息的特征融合模块（MIFF）和双级对齐模块（DLA）。我们研究中使用的主要符号的描述见表1。
数据集
我们在八个不同的多视图数据集上评估了所提出方法和其他竞争方法的有效性。这些数据集包括：COIL-20[49]，其中包含20个不同的对象；COIL-100[49]，其中每个对象从多个角度拍摄了图像，如前所述，包含100个不同的对象，每个对象有72张不同姿势的图像，总计7200张图像；Office-31[50]，其中包含在办公环境中常见的31类对象，总共有4652张图像
结论
在本文中，我们提出了HEIM，这是一种结合隐式和显式编码的混合编码器，用于改进多视图聚类。隐式编码器捕获复杂的潜在表示，而显式编码器强制实现稀疏性和压缩。互信息融合和双级对齐进一步增强了一致性、类别间的可分离性和表示质量。实验结果表明了我们方法的优越性，并为多视图聚类提供了新的视角
CRediT作者贡献声明
姚书晨：撰写——原始草稿、验证、方法论、形式分析、概念化。张宇生：撰写——审阅与编辑、可视化、验证、方法论、形式分析。严伟青：撰写——审阅与编辑、撰写——原始草稿、可视化、验证、方法论、资金获取、形式分析、概念化。唐昌：撰写——审阅与编辑、验证、方法论。岳光辉：撰写——审阅与编辑、验证、方法论，
利益冲突声明
作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。
