CSNet：一种兼顾内容和结构的颜色恒常性处理方法

《Computer Vision and Image Understanding》：CSNet: A content and structure-aware approach for color constancy

颜色恒常性研究提出CSNet框架，通过内容引导的特征融合方法分解图像为均值强度、变化幅度和方向，动态加权后经自适应融合模块生成HDR-like表示，最后由语义指导网络预测全局光照，实验表明其性能优于传统方法。

　　

卓明杜|洪安李|钱宇|陈文和|韩飞龙

江苏工业大学计算机工程学院，中国江苏省常州市中吴路1801号，213001

摘要

准确估计和校正全局照明光源的颜色，即颜色恒常性，对于计算摄影和计算机视觉至关重要，但在复杂的照明条件下仍然具有挑战性。我们提出了CSNet，这是一个端到端的框架，通过一种新颖的内容引导特征融合方法来提高颜色恒常性。输入图像首先被分解为三个预先计算出的组件：平均强度、变化幅度和变化方向。这些组件由内容加权网络（CWN）动态重新加权，该网络利用局部和全局图像特征生成空间变化的权重图。重新加权的组件通过自适应融合模块（AFM）融合，产生类似HDR的中间表示。然后，这种表示由照明预测网络（IPN）处理，该网络应用语义感知的加权来估计全局照明光源的颜色，作为RGB三元组。在标准基准测试上的广泛实验表明，CSNet实现了最先进的性能，在不同的照明条件下提供了稳健且视觉上一致的结果。这些优势使得CSNet成为自动照片校正和增强现实等应用的强大工具。

引言

颜色恒常性是计算机视觉中的一个基本问题，旨在确保在不同照明条件下的颜色感知一致性（Hou等人，2023年）。准确的颜色恒常性对于数字摄影、增强现实和医学成像等应用至关重要，在这些应用中，精确的颜色表示对于可用性和有效性至关重要（Liang等人，2021年；Yan等人，2023年；Jain等人，2023年；Chen等人，2023年）。此外，可靠的颜色恒常性显著提高了下游任务的性能，例如在不同照明条件下的人重识别（Zhang等人，2022b年）和水下图像质量改进（Liang等人，2023年），显示出其在广泛应用中的重要性。传统方法（Han等人，2019年；Cepeda-Negrete和Sanchez-Yanez，2014年；Yang等人，2015年；Barnard等人，2002年；Brainard和Wandell，1986年；Chakrabarti等人，2011年；Finlayson和Trezzi，2004年；Cheng等人，2014a年；Gijsenij和Gevers，2010年；Qian等人，2019年），包括灰世界假设、白块Retinex和各种颜色校正算法，都依赖于关于场景照明的简化假设。虽然计算效率高，但这些方法在具有复杂和动态照明的现实世界条件下往往失败，导致可见的伪影和次优的泛化能力。

深度学习的最新进展在克服这些限制方面展示了巨大的潜力（Zhang等人，2024a年；Li和Tan，2024年；Ulucan等人，2024年；Li等人，2023年；Hsu和Tsai，2023年；Ernst等人，2024年；Feng等人，2023年；Entok等人，2024年；Zhang等人，2022a年；Hu等人，2017年；Yu等人，2020年；Afifi等人，2021年；Lo等人，2021年；Xu等人，2020年；Tang等人，2022年；Afifi和Brown，2019年；Bianco和Cusano，2019年；Xiao等人，2020年）。数据驱动的模型，特别是卷积神经网络（CNN），在学习复杂特征表示方面表现出色，使它们能够更好地处理复杂的照明模式。然而，大多数现有方法主要关注内容引导或结构感知的信息，忽略了这些线索的互补性。这种分离限制了它们在自然场景中的有效性，在自然场景中，全局内容（例如亮度和颜色分布）和局部结构（例如边缘和对比度变化）对于准确的照明估计都至关重要。

为了解决这些挑战，我们提出了CSNet，这是一个在多样化和具有挑战性的照明条件下增强颜色恒常性的内容引导和结构感知框架。受多曝光图像融合技术的启发（Ma等人，2017b年），我们的方法引入了一种新的分解策略，将输入图像转换为三个可解释的组件：平均强度、变化幅度和变化方向。这些组件分别捕捉全局亮度、局部对比度和颜色过渡，提供了照明的全面表示。

基于这种分解，CSNet结合了一个内容加权网络（CWN），该网络根据局部和全局图像特征动态生成空间变化的权重图（Gharbi等人，2017年）。这些权重图用于重新加权平均强度、变化幅度和变化方向组件。然后使用无参数的自适应融合模块（AFM）融合重新加权的组件，产生一种类似HDR的中间表示，平衡了亮度、对比度和空间连贯性。最后，一个语义引导的照明预测网络（IPN）细化这种中间表示，以预测全局照明光源的颜色，作为标准化的RGB三元组，确保颜色校正的一致性和无伪影。语义引导的IPN的设计受到了Hu工作的启发，他们引入了一种类似的方法来处理复杂的照明条件（Hu等人，2017年）。

图1展示了CSNet在处理不同照明条件下的有效性。我们的方法（c）展示了优越的颜色校正效果，与真实值（d）非常吻合，同时减少了之前方法（如DALCC（b）中观察到的伪影和不一致性。

我们的主要贡献总结如下：

1. 新的分解策略：一种物理上可解释的方法，捕捉互补的内容和结构线索，为颜色恒常性提供了坚实的基础。

2. 无参数AFM：一个无需学习参数的自适应融合模块，能够精确控制亮度、对比度和空间连贯性，从而生成类似HDR的表示。

3. 语义引导的IPN：一个新颖的网络，能够自适应地整合特定区域的照明线索，在具有挑战性的照明条件下增强鲁棒性。

部分摘录

颜色恒常性

颜色恒常性是计算机视觉中的一个关键问题，旨在估计场景的照明光源并在不同的照明条件下实现一致的颜色感知。多年来，颜色恒常性的方法已经发展成两大类：基于统计的方法和基于学习的方法。

基于统计的方法。这些方法通过利用观察到的图像的统计特性来估计照明光源。经典方法，如灰世界假设（

概述

计算颜色恒常性的目标是调整图像，使它们看起来像是在标准照明条件下拍摄的，通常是D65照明光源。该过程包括两个基本任务：

照明光源估计：估计全局照明光源颜色$p={(r,g,b)}^{}$，这代表了场景的主要照明条件。

图像校正：使用估计的照明$p$，将输入图像标准化到参考白色照明，有效地移除了

实验

数据集。为了验证CSNet的有效性，我们在三个广泛认可的颜色恒常性数据集上评估了该模型：重新处理的Gehler–Shi数据集（Shi，2000年；Gehler等人，2008年）、NUS 8-Camera数据集（Cheng等人，2014b年）和Cube+数据集（Bani?等人，2017年）。

Gehler–Shi数据集：该数据集包含用Canon 1D和5D相机在室内和室外环境中拍摄的568个场景。我们使用了重新处理的版本，该版本提供了增强和标准化的

结论

我们提出了CSNet，这是一种基于深度学习的方法，用于颜色恒常性，在处理复杂照明条件的同时保留了精细的图像细节。在包括Gehler–Shi、NUS-8和CUBE在内的基准数据集上的广泛实验表明，其性能优于现有方法。

CSNet通过将图像分解为平均强度（）、变化幅度（）和变化方向（），以及内容加权网络（CWN）为这些组件生成自适应权重来实现这一目标

CRediT作者贡献声明

卓明杜：方法论。洪安李：数据管理。钱宇：撰写——原始草案。陈文和：撰写——原始草案。韩飞龙：撰写——原始草案。

利益冲突声明

我们声明与本手稿没有利益冲突。所有作者声明他们没有竞争性的财务利益。我们确认这一声明的准确性及其符合期刊关于透明度和诚信的政策。