《Optical Materials: X》：Shift-window meets dual attention: A multi-model architecture for specular highlight removal
编辑推荐：
霍天池|齐凌峰|陈宇涵|邵金源|李杰|张展华|张丽萍|李国发重庆大学机械与车辆工程学院，中国重庆，400044摘要在实际环境中，不可避免的镜面高光会严重损害视觉效果，从而降低任务的有效性和效率。尽管存在许多基于卷积神经网络模型的局部信息处理方法或基于Transformer模型的全
霍天池|齐凌峰|陈宇涵|邵金源|李杰|张展华|张丽萍|李国发
重庆大学机械与车辆工程学院，中国重庆，400044
摘要
在实际环境中，不可避免的镜面高光会严重损害视觉效果，从而降低任务的有效性和效率。尽管存在许多基于卷积神经网络模型的局部信息处理方法或基于Transformer模型的全局信息处理方法，但这些单一类型的模型在处理局部细节与全局长距离依赖关系时存在建模困境，导致对不同尺度镜面高光的处理效果不佳。因此，为了适应各种尺度的镜面高光，我们提出了一种多模型架构（MM-SHR），该架构能够有效捕捉高光区域的细粒度特征，并模拟高光区域与无高光区域之间的长距离依赖关系。具体而言，我们在MM-SHR的浅层使用卷积操作提取局部细节，在深层利用注意力机制捕捉全局特征，从而确保了运算效率和去除精度。为了在不增加计算复杂性的前提下模拟长距离依赖关系，我们采用了从粗到细的处理方式，提出了全方向注意力集成模块（OAIBlock）和自适应区域感知混合域双注意力卷积网络（HDDAConv），这些模块通过原始特征的全方向像素移动和窗口划分操作实现镜面高光的去除。此外，我们在提出的模块中加入了不同特征尺度的频率处理，以逐步增强高光特征的空间感知能力，从而在避免过度处理的同时保留原始图像的整体亮度。在三个基准任务和六种表面材料上的广泛实验结果表明，MM-SHR在镜面高光去除的准确性和效率方面均优于现有方法。
引言
镜面高光是由于光线直接照射在光滑表面产生的明亮反射，它们常常会扭曲颜色一致性并掩盖纹理细节。这些伪影显著降低了图像的视觉质量，阻碍了图像融合[1]、表面重建[2]、[3]和物体检测[4]、[5]等下游计算机视觉任务的性能。因此，高效准确地去除镜面高光对于可靠的视觉感知和分析[6]、[7]至关重要。
去除镜面高光的挑战在于其本质：它们产生的饱和白色区域几乎不包含可恢复的信息[8]、[9]。恢复这些区域需要捕捉高光区域内的典型纹理线索。同样重要的是周围无高光区域提供的信息，它们的纹理、颜色和结构模式对于推断缺失的细节至关重要。因此，有效的高光去除依赖于两个互补的过程：在退化区域内重建合理的细节，并利用高光区域与无高光区域之间的更广泛上下文关系。然而，大多数现有方法[10]、[11]难以同时满足这两个要求，这通常会导致高光去除不完整或视觉上不一致。
现有的镜面高光去除（SHR）方法大致可以分为传统方法和基于学习的方法。传统方法依赖于物理反射模型[12]、[13]、[14]、[15]或偏振分析[16]、[17]来分离漫反射和镜面反射成分。尽管这些方法具有坚实的物理基础，但它们依赖于关于材料和光照条件的严格假设，限制了它们对复杂真实世界场景的泛化能力。基于学习的方法取得了显著进展。然而，大多数现有研究基于单一网络范式——要么是卷积神经网络（CNN），要么是Transformer架构——因此未能充分利用异构架构的互补优势[18]、[19]、[20]。基于CNN的方法[21]、[22]效率很高，能够保留镜面区域内的细粒度空间细节。然而，它们有限的感受野限制了它们对高光区域之外长距离依赖关系的建模，而这对于重建全局图像结构至关重要[23]。相比之下，基于Transformer的方法[24]、[25]能够有效捕捉长距离关系，但在恢复高光区域内的细粒度纹理细节方面仍存在困难。它们较高的计算和内存需求[26]进一步限制了它们在大规模或实时应用中的实用性。这些限制表明，依赖单一架构范式往往会导致局部细节保留与全局上下文理解之间的不平衡。这突显了需要一种结合卷积和注意力机制优势的混合设计，以实现更强大和全面的高光去除。
基于上述观察，我们提出了一种多模型镜面高光去除（MM-SHR）网络，该网络在统一的层次框架内整合了CNN和Transformer的互补优势。浅层卷积层专注于提取细粒度的局部特征，而深层Transformer层则捕捉高光区域与无高光区域之间的全局上下文信息。这种设计实现了自适应的多尺度高光去除，同时保持了计算效率。此外，为了提高浅层CNN对长距离依赖关系的建模能力，我们将Swin Transformer的窗口划分机制[27]融入其架构中，使其能够在保留局部特征细节的同时捕捉全局上下文。对于深层Transformer组件，我们引入了频率处理机制，以增强其对全局光照特征的敏感性和先验认知。这种设计使Transformer能够更好地模拟光照引起的变化[25]，这与光谱成像中的发现一致，即全局光谱结构或低秩先验提供了强有力的约束[28]、[29]。我们的主要贡献总结如下。
- •
我们开发了一种多模型架构（MM-SHR）用于镜面高光去除。该网络采用分层结构，结合CNN进行细节提取和Transformer进行全局特征整合，利用两者的优势高效有效地去除镜面高光。同时，我们利用频域信息（包括全局光照特征）来指导跨多个尺度的高光特征提取。
- •
为了提高CNN捕捉长距离依赖关系的能力，我们在全方向注意力集成模块（OAIBlock）和自适应区域感知混合域双注意力卷积网络（HDDAConv）中加入了全方向像素移动和窗口划分操作，这些操作将原始特征图分割成相互关联的窗口。值得注意的是，HDDAConv通过解耦这些操作，使其与OAIBlock区分开来，从而实现了更灵活和区域自适应的特征聚合。这使得MM-SHR能够更全面地捕捉跨多个尺度的长距离信息依赖关系。
- •
在SHIQ（镜面高光图像四重数据集）、PSD（成对镜面-漫反射数据集）和NSH（自然镜面高光数据集）上进行的广泛实验表明，MM-SHR在定量和定性上都优于现有方法。额外的消融研究证实了每个提出模块的单独有效性，为实际成像系统中的镜面高光去除任务提供了有力且通用的解决方案。
章节片段
多图像方法
基于多图像的技术利用辅助信息（如多个视角或外部生成的高光掩码）来辅助镜面高光的去除。在这些方法中，冯等人[30]提出了一种基于二色反射模型的方法，利用光场相机内的全变分优化来消除高光。傅等人[31]提出了一种分阶段的方法来去除镜面反射。金等人[32]提出了一种两步学习方法
总结
MM-SHR的总体架构是一个端到端的多模型架构，以单张图像作为输入，如图1所示。其目的是提高涉及镜面高光去除任务的推理速度和颜色纹理的一致性。该网络通过巧妙地结合Transformer的全局特征捕获优势和CNN的局部细节提取能力，构建了一个多阶段U形编码器-解码器结构。MM-SHR有效地捕获并
实现细节
我们使用PyTorch框架实现了镜面高光去除算法MM-SHR，并在Ubuntu 24.04系统上进行了所有实验。这些实验的硬件配置包括一个AMD EPYC 7F72 24核处理器和一个NVIDIA GeForce RTX 4090D GPU。为了优化，我们使用了AdamW优化器，批量大小为16。模型训练了100个周期，采用余弦退火进行学习率调度。初始学习率设置为1e-3，最小值为
结论与局限性
我们提出了MM-SHR，这是一种多模型框架，旨在解决镜面高光去除中局部细节保留与全局依赖关系学习之间的建模难题。MM-SHR采用分层混合架构，结合卷积层进行细粒度细节提取和Transformer模块进行长距离上下文建模，实现了高精度和高效率。为了增强特征表示，我们引入了两个新颖的模块OAIBlock和HDDAConv
CRediT作者贡献声明
霍天池：概念化、方法论、数据策划、初稿撰写、审稿与编辑。齐凌峰：初稿撰写、审稿与编辑。陈宇涵：验证、监督、数据策划。邵金源：可视化、软件实现。李杰：数据策划、资金获取、项目管理。张展华：数据策划、资金获取、方法论。张丽萍：资源协调、监督、可视化。李国发：概念化、形式化
利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。
致谢
本工作部分得到了中国国家重点研发计划（项目编号2025YFB2606504）和国家自然科学基金（项目编号52272421）的支持。
