具有结构感知扫描功能的空频混合Mamba算法用于人脸超分辨率处理

《Neurocomputing》：Spatial-frequency hybrid mamba with structure-aware scanning for face super-resolution

　　曹建安|李海峰|楚书阳|徐健|石景刚 中国西安交通大学软件工程学院，西安710049 摘要 面部超分辨率技术旨在从低分辨率图像中恢复清晰逼真的高分辨率面部图像，这一过程需要同时保持面部的对称性、整体比例以及细微特征。基于CNN的方法由于感受野有限，容易产生几何变形；而Transformer则依赖全局自注意力机制，往往会模糊对身份识别至关重要的高频细节。近期提出的Mamba模型通过选择性状态空间更新来模拟长距离依赖关系，但其固有的1维扫描方式会破坏面部的二维邻接关系，且缺乏频率感知能力，容易导致特征不对称以及高频细节丢失。为解决这些问题，我们提出了HybriMamba这一面部超分辨率框架，该框架为Mamba增加了图像选择性扫描模块，用于恢复像素邻接关系并维持水平面部对称性，从而保持面部结构的一致性；还加入了傅里叶-小波变换模块，可全局调节幅值谱并定向处理小波子带，以恢复精细的面部特征；此外还有局部增强模块，可通过逐像素门控机制自适应调整平滑区域与纹理区域的权重，避免过度平滑。HybriMamba嵌入在U形多尺度编解码器结构中，能够分层保留面部几何结构，同时通过跳跃连接注入微纹理。在Helen、CelebA以及真实世界的SCFace数据集上的大量实验表明，HybriMamba在像素级保真度、感知质量以及身份一致性方面均优于现有最先进方法，无论是在合成数据还是真实退化场景下，都能输出稳定、具有真实特征且视觉效果良好的结果。我们的代码已发布在https://github.com/LateAutu/HybriMamba。引言 面部超分辨率技术，也被称为面部幻觉技术，其目标是从低分辨率图像中恢复高分辨率面部图像。然而在实际应用中，由于光照不足、遮挡干扰、拍摄角度偏差、设备分辨率有限或图像压缩存储损失等因素，面部图像的质量往往较差。低质量图像中缺失的信息会显著影响面部识别等下游任务的性能。面部图像具有很强的结构特性，不同区域之间存在长距离依赖关系，比如眼睛和嘴巴之间的比例与对称性。因此，与普通图像超分辨率任务相比，面部超分辨率更注重面部结构信息的重建。但低分辨率面部图像往往缺乏这类信息，这就要求模型既能捕捉全局关系，又能识别局部纹理特征。随着深度学习的快速发展，卷积神经网络展现出了强大的局部建模能力，有助于生成精细的面部纹理。不过，由于其感受野有限，无法把握整个面部的全局结构，从而导致面部特征之间的相对位置失准，出现几何变形。Transformer则凭借其自注意力机制展现出出色的长距离依赖关系建模能力，能够保持面部的整体结构与身份一致性。但Transformer的全局自注意力倾向于均匀聚合所有信息，会模糊对身份识别至关重要的高频细节，进而妨碍精细面部纹理的准确重建。因此，如何同时实现精准的全局结构建模与真实的局部细节恢复，仍是当前面部超分辨率研究面临的关键挑战。近期提出的Mamba是一种基于状态空间模型的新型架构，它将成对的像素间注意力转换为由每个像素与共享隐藏状态之间的一阶选择性更新来实现。这种隐藏状态能够在单条路径上传递整个图像的信息，确保任意两个像素在状态路径上仅相隔一步，从而实现全局感受野。通过这种方式，Mamba通过选择性状态空间更新提供了CNN所缺乏的长距离依赖关系建模能力，为全局成对注意力提供了一种序列建模的替代方案。尽管Mamba能够通过选择性状态空间更新实现长距离依赖关系建模，但它最初被设计为一种一维序列模型。当直接将Mamba模型应用于面部超分辨率任务时，图像必须被展平，这样一来属于同一语义区域的像素就会分散在token链中。这种操作会打破面部关键组成部分的空间邻接关系，进而导致明显的几何变形。此外，Mamba的逐像素线性扫描仅作用于空间域，无法感知频域信息，因此无法全局强化那些编码着眼睑边缘、鼻梁等精细面部细节的高频成分，导致这些对身份识别至关重要的细节无法得到充分重建。最后，均匀加权聚合机制会将平坦的面部区域与有纹理的区域同等对待，从而导致过度平滑或出现不自然的伪影。结构变形、高频细节丢失以及空间均匀性等问题严重限制了纯Mamba模型在面部超分辨率任务中的实际应用。为解决这些局限，我们在本文中提出了一种基于Mamba的多尺度面部超分辨率网络——HybriMamba。首先，为恢复二维连续性及面部结构一致性，我们设计了图像选择性扫描模块，该模块能够保持局部块的结构完整，并从四个方向进行扫描。此外，我们还为其添加了对称性增强模块，该模块通过可学习的标量将扫描得到的面部特征图与其水平翻转后的版本融合在一起，利用人类面部固有的水平对称性来提升面部结构的连贯性。其次，为了让模型具备频域感知能力以恢复细节，我们加入了傅里叶-小波变换模块，该模块可在频域全局调节幅值谱以增强边缘特征，同时在空间域利用小波的方向子带提取精细细节，从而实现频域与空间域的联合重建。第三，为增加空间多样性，我们设计了局部增强模块，该模块通过逐像素门控掩模自适应调整不同区域的权重，使平滑区域保持平滑，同时增强细节区域的对比度。总而言之，HybriMamba将Mamba从一维序列模型升级为适用于面部处理的二维超分辨率框架，有效解决了结构变形、高频细节丢失以及空间均匀性等问题。大量实验表明，与现有最先进方法相比，我们的HybriMamba在Helen、CelebA以及真实世界的SCFace数据集上均取得了最佳的超分辨率重建效果。本文的主要贡献如下：•我们提出了HybriMamba，这是一种多尺度面部超分辨率框架，能够实现精准的全局结构重建与真实的局部细节恢复。•我们设计了图像选择性扫描模块以及对称性增强模块，二者共同作用可恢复像素邻接关系并维持面部对称性，避免超分辨率处理后的面部结构出现错位。•我们设计了傅里叶-小波变换模块，该模块可通过全局调节幅值谱与定向处理小波子带，从而恢复精细的面部细节，实现准确的面部图像重建。•我们引入了局部增强模块，该模块具备逐像素门控功能，可自适应调整不同区域的权重，避免面部纹理过度平滑。片段内容 图像修复 近年来，图像修复技术取得了显著进展。早期的尝试通常采用卷积神经网络，如用于图像超分辨率的SRCNN、用于图像去噪的DnCNN以及用于减少JPEG压缩伪影的ARCNN。为了进一步提升基于CNN方法的性能，人们又引入了多种技术，例如EDSR为深度神经网络训练引入了残差连接，RDN则采用了……整体架构 如图1所示，我们的HybriMamba采用多尺度编解码器架构。该架构逐步提取不同层面的特征，并通过跳跃连接整合多尺度信息。整个网络由三个主要阶段组成：特征编码阶段、特征变换阶段以及特征解码阶段。对于输入的低分辨率图像，首先通过3×3的卷积层进行初始特征提取，非线性激活函数选用LeakyReLU，以此提升……数据集与评估指标 为验证HybriMamba的性能与优势，我们在两种常用的合成面部图像数据集Helen和CelebA，以及真实世界的SCFace数据集上进行了大量实验。为突出面部特征并减少背景干扰，我们使用MTCNN检测并裁剪出数据集中的面部区域，去除背景信息。随后将裁剪得到的面部图像统一缩放到128×128的分辨率。之后……结论 在本文中，我们提出了HybriMamba，这是一种基于Mamba的多尺度网络，它结合了全局特征建模与频域处理技术，用于面部超分辨率任务。我们设计了图像选择性扫描模块，使Mamba能够适配二维面部图像，从而恢复像素邻接关系并维持面部结构的一致性。此外，我们还设计了傅里叶-小波变换模块，可用于全局增强幅值谱并定向优化小波子带，进而实现精确的面部图像重建。CRediT作者贡献说明 曹建安：撰写——初稿、方法论部分。李海峰：可视化、方法论部分。楚书阳：验证、研究分析。徐健：项目管理、资金筹措。石景刚：撰写——审稿与编辑、指导工作、方法论部分。利益冲突声明 作者声明不存在任何可能影响本文研究结果的已知财务利益或个人关系。致谢 本文得到了国家自然科学基金（编号62576273）、陕西信息通信网络与安全重点实验室（编号ICNS202405）以及小米基金的资助。曹建安目前是西安交通大学软件工程学院的硕士研究生，他于2024年获得工学学士学位，目前的科研兴趣主要集中在面部超分辨率技术及盲态面部修复领域。