基于偏振先验与深度学习的亮点检测与去除联合框架

《Optics and Lasers in Engineering》：A joint framework for highlight detection and removal via polarization priors and deep learning

　　

• •
  联合框架：本文构建了一个统一框架，将偏振成像与深度学习相结合，从而有效整合物理光学先验与数据驱动的修复方法。
• •
  基于偏振的亮点检测：提出了一种基于斯托克斯参数分析及专用神经网络的高亮区域精准定位策略。
• •
  物理与深度学习的协同去除机制：构建了基于物理原理的修复流程，通过偏振估计与深度学习优化相结合的方式，在抑制高亮的同时保留细节。
• •
  高斯融合策略：引入高斯融合机制，自适应结合物理估计结果与深度学习修复结果，减少亮色漫反射区域的伪影，提升视觉一致性。
• •
  优异的稳定性：大量实验表明，该方法在亮点检测与去除方面均达到领先水平，且在复杂场景下仍具备很强的稳定性。

引言

从图像中准确提取有用信息对于人类感知和机器视觉而言都至关重要。在现实场景中，图像的形成往往包含镜面反射和漫反射两种成分。虽然这些反射成分是自然视觉效果的重要组成部分，但镜面高亮区域会严重降低图像质量，掩盖表面的细节，还会对缺陷检测[1]、[2]以及目标识别[3]、[4]、[5]等后续视觉任务产生不利影响。因此，准确检测并去除镜面高亮区域对于许多实际视觉应用来说十分重要。

在早期的研究中，亮点检测与去除通常被视为两个独立的任务。在亮点检测方面，传统方法试图通过分析颜色空间分布或偏振特性，并结合人工设定的阈值来分割高亮区域[6]、[7]、[8]。然而，这类方法容易将高强度的非高亮像素误判为真正的亮点区域。李等人[9]提出了基于低秩分解与稀疏分解结合以及距离度量学习的自适应鲁棒主成分分析框架，用于内窥镜图像序列中的亮点检测，但该方法仍可能误分类亮色区域。近年来，深度学习方法显著提升了亮点检测的性能。例如，傅等人[10]提出了基于多尺度上下文对比的网络用于亮点检测，而安沃尔等人[11]则基于U-net架构设计了SpecSeg网络。尽管取得了这些进展，但纯数据驱动的检测方法在复杂背景和不同光照条件下仍可能存在问题，尤其是当亮白色区域与高亮区域在语义上相似时。

在亮点去除方面，传统方法主要依赖图像颜色的统计分布[12]、[13]、[14]。虽然在相对简单的场景中效果不错，但这些方法在物体表面纹理复杂或场景较为杂乱的条件下往往无法发挥作用。赤石等人[15]利用自然图像中镜面高亮的稀疏分布特点，提出了基于带稀疏约束的非负矩阵分解的亮点去除框架。其他基于特定反射率先验的方法[16]、[17]、[18]在无约束的自然场景中也往往泛化能力有限。与基于颜色的方法相比，基于偏振的方法[19]、[20]、[21]能够提供额外的物理线索，帮助区分镜面反射和漫反射。不过，现有的大多数基于偏振的方法仍然依赖于手工设计的优化公式，其性能在很大程度上取决于目标函数的选择，难以充分利用偏振信息。

随着深度学习在图像修复领域的快速发展，近年来出现了多种基于学习的亮点去除方法。这些方法大多采用容量较大的卷积神经网络，直接从图像数据中抑制高亮部分[5]、[22]、[23]。吴等人[24]和傅等人[25]进一步研究了用于亮点检测与去除的联合模型，傅等人[25]还建立了大规模标注数据集以支持监督学习。尽管这些方法在复杂场景中表现良好，但它们仍面临一个固有难题：在没有可靠的物理先验的情况下，亮白色区域很容易被误认为是真正的亮点区域。此外，恢复被强高亮区域遮挡的细微纹理细节也是一个极具挑战性的问题。

为了解决这些局限性，本文提出了一种将偏振成像与深度学习相结合的亮点检测与去除联合框架。该算法利用偏振特征提升高亮区域的定位精度，同时结合基于物理原理的高亮抑制方法与深度学习修复技术来去除剩余的高亮部分。此外，还引入了高斯融合策略，以减少亮色漫反射区域的错误修复，进一步提升最终修复图像的质量。本文的主要贡献如下：

• •
  通过将偏振成像与深度学习相结合，提出了用于亮点检测与去除的联合框架，实现了物理先验与数据驱动修复方法的有机结合。
• •
  设计了高斯融合策略，用于减少亮色漫反射区域的错误修复，提升修复后图像的视觉一致性。
• •
  在SHIQ-POL数据集上的大量实验表明，与现有方法相比，该方案在亮点检测与去除方面均展现出更优异的性能。

章节要点

方法

如图1所示，本文提出了一种基于偏振成像与深度学习的集成式亮点检测与去除方法。该方法主要包括三个步骤：首先，利用斯托克斯公式处理偏振图像，生成几乎不含高亮的图像，随后使用TNet对高亮区域进行分割。接下来，再运用H2RNet（高亮精细去除网络）进一步去除剩余的非偏振高亮部分。

亮点检测

为评估所提出的亮点检测方法的效果，采用了准确率（Acc）和平衡误差率（BER）两种定量指标。更高的准确率和更低的平衡误差率意味着更好的亮点检测性能。在本实验中，基于偏振的方法[6]、[8]，非基于偏振的方法[9]、[24]，一种最新的两阶段方法[36]，以及本文提出的方法都在SHIQ-POL数据集上进行了测试。典型的视觉结果如图4所示，

结论

本文提出了一种将偏振成像与深度学习相结合的亮点检测与去除方法。该方法利用镜面高亮的偏振特性，通过TNet精准定位高亮区域。首先根据偏振信息生成几乎不含高亮的图像，再利用H2RNet去除剩余的非偏振高亮部分。此外，还引入了高斯融合策略，以减少错误修复带来的影响。

CRediT作者贡献说明

宋明宇：论文撰写——初稿编写、可视化、验证、软件开发、方法设计、研究实施、形式化分析、概念构思。周远平：论文撰写——初稿编写、可视化、验证、软件开发、方法设计、研究实施、形式化分析。李坤：论文撰写——审阅与编辑、指导监督、概念构思。陈晓溪：论文撰写——审阅与编辑、指导监督、资源协调、概念构思。王平合：论文撰写——审阅与编辑、指导监督、资源协调、资金支持

利益冲突声明

作者声明不存在任何可能影响本文研究成果的已知财务利益关系或个人关系。

致谢

所有作者衷心感谢审稿人和编辑们对本文提出的宝贵意见。本研究得到了四川省区域创新合作计划（项目编号2023YFQ0013）的支持。

Mingyu Song|Yuanping Zhou|Kun Li|Xiaoxi Chen|Pinghe Wang|Guohua Shi