SAGE：具有空间感知能力的引导式情感色彩迁移与类别自适应变换

《Image and Vision Computing》：SAGE: Spatially aware guided emotion color transfer with category-adaptive transformation

　　崔泰贤|朴珍婉
韩国首尔忠清大学高级成像科学多媒体与电影研究生院高级成像系，邮编06974

摘要
本文提出了一种基于神经网络的情感引导色彩迁移方法——空间感知引导情感模型（SAGE）。该方法旨在解决将抽象情感概念转化为具体色彩变化的同时，避免过度调整及不自然伪影的问题。该方案包含四项关键技术贡献：（1）一种包含23种情感类别的类别自适应变换框架，根据目标情感在冷暖/硬软坐标系中的位置，对亮度、对比度、饱和度和色调进行针对性调整；（2）一种基于学习到的掩码的空间注意力机制，可实现区域选择性色彩修改，同时保持图像结构完整性；（3）源自大规模情感标注数据集的调色板引导和谐化处理；（4）一种平衡质量评估指标，用于衡量结构保留与色彩变化程度之间的权衡。与那些采用全局统一变换或直接修改图像内容的现有方法不同，SAGE能够实现空间选择性色彩迁移，在保持语义连贯性的同时避免色彩渗色和噪声放大。在800张涵盖八种情感的图像上进行的实验表明，相较于最新的基于扩散模型的方法，SAGE在平衡质量指标上提升了8.2%，同时在结构相似性指数（0.955 vs. 0.831）、低频偏移感知相似性指数（0.375 vs. 2.960）、边缘保留率（0.997 vs. 0.974）以及空间选择性指标（0.895 vs. 0.710）方面也表现更优。通过针对23种情感类别的1500张图像进行的扩展测试，验证了该方法的 scalability。5折交叉验证分析显示结果具有稳定性（平衡质量值=0.712 ± 0.027，95%置信区间为±0.023）。消融实验进一步确认了各组件的作用，其中空间掩码的影响最大（去除后会导致性能下降14.8%），这验证了区域感知型变换对于实现自然情感色彩迁移的重要性。

引言
色彩是图像中表达情感的最具表现力的视觉元素之一。心理学领域已对色彩与情感之间的关系进行了大量研究[1][2]，这些研究揭示了色彩属性与情感反应之间存在稳定关联。在计算机视觉和图像处理领域，利用这些关联通过色彩操控自动传递情感特质是一个重要且具有挑战性的课题，其应用范围涵盖照片增强、艺术风格化以及情感媒体创作等领域。色彩迁移的根本目的是在保持图像底层结构与语义内容的前提下，改变其色彩属性。传统色彩迁移方法侧重于匹配源图像与目标图像之间的统计特性[3][4]，但情感引导型色彩迁移则面临诸多独特挑战，需要谨慎处理：
- 过度变换带来的损害：过于激进的色彩修改会严重降低原始图像质量，破坏重要视觉细节，并产生过饱和等不自然伪影[3][4][5]。色彩转换必须在适当强度下进行，才能在实现情感表达的同时避免损害图像完整性；
- 自然变换的要求：变换过程需避免诸如区域间色彩渗色、低对比度区域噪声放大以及边缘光晕效应等常见伪影[6][7][8]。保持视觉上的自然感对于实际应用至关重要；
- 语义不匹配问题：即便为目标情感正确提取了色彩调色板，简单的应用方式也可能产生语义上不恰当的结果[9][10]。例如，将“厌恶”相关的色彩应用于自然温暖的场景，可能会产生视觉上突兀的效果；
- 评估难题：现有的评估指标要么侧重于结构保留（倾向于最小化变化），要么侧重于感知差异（倾向于任何变化），但都无法真正体现情感引导型色彩迁移的目标，即在保持图像质量的同时实现有意义的情感转化[11][12][13]。图1展示了现有色彩迁移方法中常见的缺陷：过饱和会破坏肤色和自然纹理；低对比度区域如阴天时会出现明显的色彩噪声；色彩渗色会导致物体边界处出现异常色彩；当目标情感调色板与图像语义冲突时，还会出现错误的色彩变换。

2010年代中期，基于情感的色彩变换研究开始活跃起来，刘等人[5]在纹理感知情感色彩迁移方面取得了重要进展，彭等人[14]则致力于情感图像调整技术的研究。然而，尽管深度学习和图像生成技术取得了显著进步，这一领域仍缺乏深入研究。近期的研究更多集中在风格迁移[15][16][17]以及基于扩散模型的图像编辑[18][19]方面，但这些方法并未直接解决将情感映射为色彩的难题。情感引导型色彩迁移的难度源于多个因素。首先，情感与色彩之间并非一一对应关系：同一情感在不同情境和强度下可通过多种色彩方案来表达[20][21]；其次，全局统一的色彩变换往往会产生不自然的结果，因为图像的不同区域对色彩变化的反应存在差异；最后，现有的情感识别系统通常将图像分类为离散的类别[22][23]，而有效的色彩迁移则需要对变换参数进行连续、精细的控制。

为应对这些挑战，本文提出了空间感知引导情感模型（SAGE），这是一种基于神经网络的情感引导色彩迁移方法。该方案包含四项关键贡献：
1. 类别自适应变换：引入针对不同情感的变换参数，并将其归纳为涵盖整个情感空间的七类。每类参数会根据目标情感在冷暖/硬软二维坐标系中的位置，对亮度、对比度、饱和度、色调偏移以及暗角效果进行针对性调整；
2. 空间选择性修改：通过空间注意力机制生成区域特定的掩码，从而调节变换强度，使色彩占比高的区域发生更大程度的变化，同时保持纹理丰富区域的结构完整；
3. 调色板引导和谐化：利用从大规模数据集中提取的针对特定情感的色彩调色板，指导最终色彩分布，确保变换后的图像呈现出与目标情感相符的色彩；
4. 平衡质量评估指标：提出了一种新的评估指标，通过计算结构保留程度与色彩变化程度的调和平均值，来衡量情感引导型色彩迁移中的核心权衡问题，便于对采用不同变换策略的方法进行公平比较。

本研究在基于EmoSet[24]构建的数据集上对SAGE进行了测试，结果表明，与四种基准方法相比，SAGE在多项指标上均展现出更优异的性能。

章节节选
色彩迁移方法
色彩迁移的目的是调整源图像的色彩分布，使其与目标图像的色彩分布相匹配。Reinhard等人[3]提出了一种开创性方法，即在去相关色彩空间中匹配颜色通道的均值和标准差。Pitié等人[4]则引入了一种迭代式分布迁移方法，以实现更精确的直方图匹配。Xiao和Ma[25]在相关色彩空间中开发了一种色彩迁移方法，以更好地保留色彩关系。

问题定义
给定一张输入图像I∈RH×W×3，以及一个表示其在冷暖空间（w轴）和硬软空间（h轴）中位置的目标情感坐标e=(w,h)∈[?1,1]2，我们的目标是生成一张输出图像I′∈RH×W×3，该图像需满足：
1. 具有与目标情感相关的色彩特性；
2. 保留输入图像的结构内容；
3. 维持视觉上的连贯性与自然感。
可选地，可以提供一个包含k种目标情感代表性颜色的目标色彩调色板P∈Rk×3，以指导色彩的和谐化处理。

二维情感空间
情感-色彩调色板数据集
为了训练和评估所提出的模型，本研究基于EmoSet[24]构建了一个全面的情感-色彩调色板数据集。EmoSet是一个大规模的视觉情感数据集，包含330万张图像，这些图像根据Mikels的情感模型[33]被标记为八种情感类别。

数据集
训练和评估均使用了来自EmoSet[24]的图像。训练集包含从训练子集中提取的色彩调色板，而评估则使用了从验证子集中随机抽取的1500张图像，以确保覆盖不同类型的图像内容与风格。

评估方案
为确保公平比较和全面验证，本研究采用了两级评估方式，具体如下：
初步评估（8种情感）。为了与EmoEdit[10]进行公平比较，……

类别自适应变换的有效性
实验结果表明，针对不同情感的专用变换参数对于实现有效的色彩迁移至关重要。在情感空间中，这种七类分类体系能够捕捉到单一全局变换模型所无法体现的重要差异。例如，冷硬类型的情感需要降低饱和度并提高对比度，而温暖柔和类型的情感则适合提高亮度并适度提升饱和度。这类精细的调整仅靠数据学习是难以实现的。

结论
本文提出了空间感知引导情感模型（SAGE），这是一种用于情感引导型色彩迁移的方法，它解决了将抽象情感转化为具体视觉变换时的关键问题，同时避免了过度变换带来的损害、色彩渗色以及噪声放大现象。该方案结合了四项关键技术贡献：类别自适应变换参数、空间注意力机制、调色板引导和谐化处理以及平衡质量评估指标。

SAGE的CRediT作者贡献说明
崔泰贤：软件设计、方法论、研究实施、形式化分析、数据整理。朴珍婉：论文撰写与编辑、方法论、资金获取、概念构思。

利益冲突声明
作者声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。

致谢
本研究得到了韩国教育部（MOE）和韩国国家研究基金会（NRF）资助的BK21 FOUR项目（项目编号：4199990914251）的支持。