基于保持局部性的严格稀疏性与空间自适应几何的结构化稀疏表示学习

《Pattern Recognition》：Structured sparse representation learning with locality-preserving strict sparsity and spatially adaptive geometry

　　

• 具有严格稀疏性的时域CDL在表示学习中保持局部性。
• 空间自适应度量使更新与卷积交互对齐。
• VBASTA采用自适应对角度量和回溯进行开发。
• VBASTA在Kurdyka–?ojasiewicz框架下收敛到临界点。
• VBASTA在多个视觉表示学习任务上得到验证。

**引言**

结构化稀疏表示学习能够在噪声、损坏、缺失数据和结构混合的情况下，为复杂观测提供紧凑且可解释的描述[1]、[2]。稀疏编码和字典学习通过紧凑表示捕获潜在局部模式[3]、[4]、[5]，而卷积字典学习（CDL）用平移不变表示取代块独立建模，编码跨空间位置的局部结构[6]、[7]。CDL已被用于结构化视觉恢复任务，包括重建[8]、[9]、[10]、去噪[11]、[12]、融合[13]、[14]、[15]、修复[16]和分离[17]。

尽管具有这些优势，结构化CDL仍存在三个重要局限[18]。首先，许多公式依赖于傅里叶域重构，其周期性边界处理对于对局部性敏感的有限图像建模可能不理想[19]。其次，严格稀疏性常被凸替代罚函数取代，虽然简化了优化，但可能产生不够紧凑的表示[20]。第三，收敛的近端梯度方案通常采用基于利普希茨界导出的全局均匀更新规则[21]。卷积重叠在不同空间位置上是变化的，标量更新几何可能无法充分反映异质局部交互[22]。

这些问题促使我们构建一个保留时域局部性、维持严格稀疏性并使更新几何适应位置相关卷积重叠的框架。因此，我们开发了VBASTA——一种具有空间自适应对角度量和回溯的时域严格稀疏性CDL方法，用于非光滑非凸交替优化。该度量编码针滤波器和字典更新时的局部卷积几何。该方法旨在作为一个可解释的基于优化的结构化表示框架。其实验比较和结论仅限于基于优化的时域CDL，而非与特定任务的端到端深度恢复网络直接竞争。

主要贡献总结如下：

（1）我们提出了一种具有严格稀疏性的时域卷积字典学习框架，该框架避免了傅里叶域重构，在稀疏卷积建模中更直接地保持局部性。

（2）我们开发了VBASTA——一种用于时域CDL的变度量交替优化算法。通过引入空间自适应对角度量和回溯，VBASTA使更新几何适应卷积诱导的空间重叠异质性，并减少了对全局均匀标量步长的依赖。

（3）我们为提出的交替更新建立了严格的变度量下降结果，确保了在非凸??稀疏罚函数下足够的下降。基于此下降性质，我们证明了在Kurdyka–?ojasiewicz框架下生成的序列收敛到临界点。

（4）该方法在多个视觉恢复任务上的有效性得到验证，包括重建、去噪、图像修复和卡通-纹理分离。

本文其余部分组织如下。第2节回顾相关工作。第3节介绍变度量框架并详细说明VBASTA算法。第4节建立收敛性。第5节描述应用。第6节评估实验性能。第7节总结全文。

**章节摘要**

*傅里叶域与时域CDL公式化*

CDL长期以来一直作为结构化表示模型被研究，早期实现侧重于傅里叶域计算和基于交替方向乘子法（ADMM）的优化[23]、[24]、[25]。基于快速傅里叶变换（FFT）的公式提供了高效的卷积操作[26]、[27]、[28]，但其周期性边界处理可能模糊有限图像建模中的显式局部性，从而促使采用时域和局部公式化。

*基于切片和局部处理*

*空间感知的变度量PALM框架*

非光滑非凸交替优化问题如下：

argmin_{x={x?,x?}} ψ(x) := f?(x?) + f?(x?) + H(x?, x?)

其中f?和f?为非凸非光滑函数，H为可微函数。

而非依赖标准的利普希茨全局标量常数，这可能导致卷积操作中步长选择不佳，我们采用变度量步长。当我们固定x?时，函数x?→H(x?,x?)是可微的。存在对称正定度量矩阵S?，使得偏导数……（原文截断）

*VBASTA的收敛性分析*

首先，我们考虑VBASTA算法生成的序列(x??, x??)，其中x? = α_{?,i}，x? = D_L。为建立生成序列的收敛性，目标函数ψ(x) = f?(x?) + f?(x?) + H(x?,x?)必须满足以下理论假设。

假设1[36]：

(1) ψ是一个适当的、下半连续的、闭的Kurdyka-?ojasiewicz（KL）函数，且有下界；

(2) dom f?和dom f?是闭集；

(3) 梯度?H在紧子集上是利普希茨连续的。存在M > 0使得对所有u_i, v_i（i = 1, 2）……（原文截断）

*图像修复*

图像修复是一种结构化视觉恢复问题，需要通过利用图像的内部组织来补全缺失的观测。修复意味着从不完整的观测中恢复潜在的干净图像，同时保持重建结构的局部一致性。在我们的框架中，这是通过使用时域CDL目标函数中数据保真项的掩码对应项来实现的，从而使得学习到的针滤波器和字典……（原文截断）

*实验设置*

本工作侧重于基于优化的时域CDL，而非特定任务的深度恢复网络[40]。因此，实验比较和结论在基于优化的CDL方法类别中进行解释。为从结构化稀疏表示学习的角度评估所提出的框架，我们将VBASTA与几种具有代表性的卷积字典学习算法进行比较，包括SBDL……（原文截断）

**结论**

本文提出了一种时域卷积字典学习框架，该框架将严格稀疏性与空间自适应变度量交替优化相结合。VBASTA使用卷积几何感知的对角度量和回溯来处理非光滑非凸CDL，同时保留显式的时域局部公式化。在所述假设条件下，生成的序列在Kurdyka–?ojasiewicz框架下收敛到临界点。重建实验的……（原文截断）

**CRediT作者贡献声明**

李婧：审稿与编辑、原创草案撰写、监督、资源、方法论、调查研究、经费获取、概念构思。

徐明辉：原创草案撰写、可视化、软件、调查研究、形式分析、数据整理。

王瑾佳：验证、项目管理、经费获取。

**声明：生成式AI及AI辅助技术在稿件准备过程中的使用**

在准备本工作期间，作者使用了DeepSeek来改进语言、语法、拼写和可读性。使用该工具后，作者对内容进行了必要的审阅和编辑，并对已发表文章的内容承担全部责任。本手稿中未使用生成式AI或AI辅助工具来创建或修改图形、图像或艺术作品。

**利益冲突声明**

作者声明不存在任何可能影响本文所报告工作的已知竞争性经济利益或个人关系。

**致谢**

本工作得到河北省自然科学基金[项目编号 F2024203081]和河北省科技计划[项目编号 264Z7712G]的支持。资助方未参与研究设计、数据收集与分析、结果解释、手稿撰写或投稿决定。

李婧 | 徐明辉 | 王瑾佳