用于自监督内镜视频表示学习的小波引导频谱采样与重建

《Digital Signal Processing》：Wavelet-Guided Spectral Sampling and Reconstruction for Self-Supervised Endoscopic Video Representation Learning

　　

摘要

掩码视频建模中的随机掩码可被形式化为一种随机时空采样算子，该算子会因混叠和非均匀采样导致频谱畸变并衰减高频分量。这种效应会导致重建过程产生偏差，倾向于恢复低频结构而忽视关键的高频细节。为了解决这一问题，我们提出了一种小波引导的频谱采样与重建（WG-SSR）框架，该框架在多分辨率分析的条件下将掩码视频建模重新表述为一个子带感知的信号重建问题。具体而言，我们采用三维小波分解来显式表征频谱能量分布，并构建频率感知的采样概率，在预训练阶段优先将高频区域作为重建关键掩码目标。此外，我们引入了子带加权频谱重建损失，以补偿像素域目标固有的低通偏差。为稳定优化过程，我们开发了一种基于子带级重建不确定性的熵驱动自适应采样调度器，在频谱域实现了自定步调的学习机制。大量实验表明，所提框架显著提升了高频保真度和结构一致性，在多个视频理解任务上取得了优异性能。本工作为掩码建模提供了原理性的信号理论解释，并强调了显式频谱建模在自监督学习中的重要性。代码获取地址：https://github.com/xixi992/WG-SSR。

引言

视频内窥镜是诊断胃肠和呼吸系统疾病的重要基石。然而，精确分析仍然费力且容易遗漏，尤其是针对微妙的早期病变[1], [2]。虽然计算机辅助诊断（CAD）系统提供了一条自动化途径，但其效能受到高质量标注数据稀缺的限制。因此，自监督学习（SSL）已成为从海量未标注视频语料中提取鲁棒表示的关键范式[3]。现有的SSL方法大致分为对比学习和生成式掩码建模两类。以Endo-FM[4]为代表的对比方法擅长捕捉全局语义一致性，但往往无法建模稠密的像素级依赖关系，使其在以边界精度为关键的息肉分割等细粒度任务中表现欠佳。相反，以VideoMAE V2[5]为代表的生成框架通过补丁重建来强制局部结构学习。然而，其传统的随机掩码策略隐含地假设所有时空令牌具有相同的价值。这一假设与内窥镜视频的特性不匹配——内窥镜视频包含大量时间冗余，且仅有稀疏的高频诊断线索，包括病变边界、黏膜纹理、微血管模式和微妙的运动不连续性。结果是，随机掩码经常将重建能力分配给冗余的低频背景，同时欠采样具有诊断价值的高频区域。我们将这种因果失效模式称为"频谱忽视"，它所产生的表示虽然语义连贯，但在稠密预测任务中却变得结构模糊[6]。

这种采样层面的局限性进一步被重建目标所放大。图像处理领域的最新进展强调了基于小波的方法在表征和建模多尺度视觉信息方面的巨大潜力。以MWEFusion[7]为例，小波变换可以分解和增强多尺度结构特征，表明显式的频域分析可以改善复杂视觉场景中的表示学习。类似地，CycleGAN[8]等框架已经探索了小波分析与深度学习的集成用于高级图像操作。然而，以平滑为导向的重建流水线往往会抑制在临床内窥镜成像中至关重要的相同高频纹理细节。在掩码视频建模中，传统的像素级重建损失强加了一种类似的低通优化偏差：由于大部分信号能量集中在低频分量中，最小化全局像素误差有利于解剖布局的恢复，但削弱了对边缘、纹理和微病变模式的保持。因此，核心问题不仅在于掩码何处，还在于如何重建频率敏感信息而不抹去诊断结构。

受此因果分析的启发，本文提出了WG-SSR，一种小波引导的频谱采样与重建框架，该框架在已识别的局限性与所提出的创新之间建立了直接对应关系。首先，为了解决空间随机掩码导致的采样偏差，我们引入了小波引导的自适应采样策略，通过估计局部频谱能量来优先将高频时空区域作为预训练期间的重建目标。其次，为了抵消像素域目标的低通偏差，我们设计了频率增强多尺度重建模块，强制子带级一致性并显式惩罚高频重建误差。第三，为了避免在固定掩码难度下出现不稳定或过于僵化的学习，我们开发了一种熵驱动的自适应课程调度器，根据模型的子带级重建不确定性动态调整掩码率和显著性焦点。通过这种方式，WG-SSR在统一框架内将内窥镜视频的临床特性、现有SSL方法的机制层面缺陷以及相应的频率感知解决方案连接起来。本工作的主要贡献总结如下：

• 1.
  提出了一种小波引导的自适应采样策略，利用小波变换估计局部频谱能量密度并调制掩码概率，从而在语义丰富的时空区域上实现频率选择性采样。
• 2.
  引入了一种频率一致的重建框架以强制子带级保真约束，显式缓解了传统像素域损失函数的低通偏差。
• 3.
  开发了一种熵驱动的自适应课程调度器，根据子带级重建不确定性动态调整采样复杂度，促进频率域中的自定步调优化范式。

章节摘要

视频掩码建模中的频率感知策略

生成式掩码视频建模（MVM）已成为自监督视频表示学习中的主导范式，通过重建被掩码的时空令牌迫使模型学习细粒度的局部依赖关系。开创性的工作如VideoMAE[6]和VideoMAE V2[5]验证了高比例随机掩码在捕捉通用时空语义方面的有效性。随后，Endo-FM[4]将该范式应用于内窥镜领域，增强了下游分类

方法

在上述定位的指导下，所提的WG-SSR通过三个耦合组件实例化了这一统一设计：小波引导采样、频率增强重建和熵驱动课程自适应。与将小波变换作为预处理工具的传统用法不同，我们将小波分解视为信号空间的显式频谱分解。这使我们能够将掩码建模重新表述为在子带分量上执行的结构化采样问题，而非

数据集与实验设置

数据集：为验证所提方法的有效性，我们在多个公开的内窥镜视频数据集上进行了广泛的对比和消融研究。如表2所示，我们使用了10个公开数据集。这些数据集包含超过30,000个视频片段和约500万帧，涵盖了多样的内窥镜模态，涉及十多种病理类型。总体而言，这些多样化的数据集为内窥镜

结论

本工作将掩码视频建模重新诠释为一个频谱采样与重建问题，将频域物理先验与自适应课程学习相结合用于内窥镜视频分析。所提方法解决了现有自监督学习范式中观察到的频谱忽视关键问题，其中传统的随机掩码策略倾向于丢弃高频诊断特征，而这些特征对于准确

CRediT作者贡献声明

Gelan Yang：构思、方法学。Yaoxiang He：撰写——初稿、撰写——审阅与编辑。Wenyi Deng：可视化、调查。Yilong You：监督。Chengshuang Wu：软件、验证。Xi Wu：软件。Xinni Hu：数据整理。

利益冲突声明

作者声明不存在已知的竞争性经济利益或个人关系可能影响本论文所报告的工作。

Gelan Yang|Yaoxiang He|Wenyi Deng|Yilong You|Chengshuang Wu|Xi Wu|Xinni Hu