基于Kullback–Leibler散度的正交非负矩阵分解（KL-ONMF）及其在文档分类与高光谱图像解混中的应用

本文提出了一种基于Kullback–Leibler（KL）散度的正交非负矩阵分解（ONMF）新模型与算法KL-ONMF。相较于传统基于Frobenius范数（F范数）的ONMF方法，KL散度更适用于泊松分布数据（如文档词频向量与成像光子计数过程）。通过交替优化框架，作者实现了闭式更新，并在文档分类和高光谱图像解混任务中验证了其优越性能。

　　

Section snippets

Alternating optimization for ONMF with the Frobenius norm

众多算法已被开发用于正交非负矩阵分解（ONMF）。让我们回顾文献[6]提出的基于交替优化的标准算法（称为Fro-ONMF）。它遵循与k均值等聚类算法相同的框架，交替更新质心与聚类分配。Fro-ONMF通过闭式表达式交替更新W和H，其计算效率高且易于实现。

Alternating optimization for ONMF with the KL divergence

如引言所述，本文聚焦于KL散度的ONMF问题，其数学形式为：给定非负矩阵X ∈ R^m×n和秩r，求解最小化D_KL(X, WH)，约束条件为H ≥ 0且HH^? = I_r。需注意，KL散度要求X元素非负，这与Frobenius范数方法不同。

接下来两节将详细推导固定H时W的闭式更新（反之亦然）。

Numerical experiments

本节比较了Fro-ONMF（算法1）与KL-ONMF（算法2）在文档聚类（4.1节）和高光谱图像像素聚类（4.2节）中的性能。如前所述，KL散度对此类数据集更具意义：文档的词频向量适合泊松计数过程[12]，而图像可视为光子计数过程[13][14]。实验结果表明，KL-ONMF在稀疏数据和计数场景中表现更优。

Conclusion

本文提出了一种针对非负数据聚类的新模型——基于KL散度的正交非负矩阵分解（KL-ONMF）。我们设计了一种交替优化算法，简洁高效且高度可扩展，其计算复杂度为O(nnz(X)r)，其中nnz(X)是数据矩阵非零元素数量，r为聚类数。在文档和高光谱图像上的实验表明，KL-ONMF性能优于基于Frobenius范数的ONMF，尤其在稀疏数据和泊松噪声场景中提供更准确的聚类结果。