《Array》：COTA: Color-guided Optimal Transport Attention for Arbitrary Style Transfer
编辑推荐：
任意风格迁移旨在保留内容图像的语义结构，同时迁移任意参考风格图像的视觉外观。现有基于注意力的方法通常通过成对特征相似度建立内容-风格对应关系，当两幅图像在语义、纹理或颜色构成上差异较大时，这种对应关系会变得不可靠。为此，研究人员提出COTA，一种颜色引导最优传
任意风格迁移旨在保留内容图像的语义结构，同时迁移任意参考风格图像的视觉外观。现有基于注意力的方法通常通过成对特征相似度建立内容-风格对应关系，当两幅图像在语义、纹理或颜色构成上差异较大时，这种对应关系会变得不可靠。为此，研究人员提出COTA，一种颜色引导最优传输注意力（Color-guided Optimal Transport Attention）框架，以结构化颜色对应先验补充缩放点积注意力（scaled dot-product attention）。共享的ColorMaskNet在Lab颜色空间执行软颜色分解，并从两幅图像中提取代表性颜色原型（color prototypes）与分量比例。可学习的颜色度量与Sinkhorn最优传输（optimal transport）随后估计受两图颜色分布约束的全局耦合软传输计划。与硬分配或独立归一化颜色匹配不同，该公式支持灵活的一对多与多对多对应，同时全局协调颜色分配。该传输计划被投影为逐层空间先验，并与特征亲和度整合进多尺度门控注意力框架。实验表明，COTA在内容保持与风格渲染上具有竞争力，具备连贯结构、稳定局部风格化与一致区域颜色分配。
研究背景方面，神经风格迁移旨在合成既保留内容图像语义结构、又采纳参考风格图像视觉外观的图像，任意风格迁移因单模型可泛化至未知风格而成为重要方向。现有基于注意力的方法主要依赖成对特征相似度或学习所得注意力权重建立空间对应，当内容图与风格图在语义布局、纹理分布或颜色构成上差异显著时，特征引导匹配易产生局部失配、边界模糊与颜色传递不一致；直接颜色相似不足以刻画渐变与一对多关系，独立归一化颜色匹配又无法约束风格侧分量的整体使用，且颜色信息常被仅作为全局损失或图像级统计量施加，未被转化为多尺度注意力的结构化空间先验。为此，研究人员开展一项以颜色区域对应关系显式补充特征相似匹配的研究，提出COTA框架，在保留标准缩放点积注意力的同时引入与深度特征相似度无关的颜色对应信号，以解决大差异内容-风格对下的对应不稳定问题。该研究结论指出，COTA在内容保真与风格相似间取得竞争平衡，统计检验显示其在PSNR、SSIM与Gram Loss上较AdaAttN显著占优，并在颜色分布对齐、调色板对应与区域级颜色一致性上优于对比方法，具有重要意义，论文发表于《Array》。
关键技术方法上，研究人员采用MS-COCO作内容图、WikiArt作风格图训练，固定100对测试集；以冻结VGG为编码器提取多层特征，并行将图像转Lab空间送入共享ColorMaskNet（六卷积轻量网）得K=8软颜色掩码，加权平均得内容侧与风格侧颜色原型及分量边缘分布；以可学习颜色投影构造代价矩阵，用熵正则化Sinkhorn迭代求K×K软传输计划T；将掩码按层分辨率缩放后与T结合成逐层门控先验G?，在层?∈{3,4,5}以多尺度门控注意力将log(G?)加至缩放点积注意力对数域，再用注意力加权风格均值与标准差调制归一化内容特征；损失含内容、全局风格、局部门控风格统计、颜色对齐（原型经T传输比对）与掩码正则（均衡+全变分）。忽略具体训练超参细节。
研究结果部分，第3节所述框架概述指出，COTA经VGG多层特征与颜色分支并行处理，在层3/4/5做门控注意力，层5/4出主风格化特征、层3出跳跃特征供解码器重建，融合后解码得Ics。3.2.1节颜色建模与最优传输表明，ColorMaskNet软分解得原型，可学习度量结合Sinkhorn OT在边缘分布约束下得全局耦合T，支持一对多/多对多，优于硬分配与独立归一化。3.2.2节逐层门控先验构建表明，掩码缩放后与T缩并得G?(i,j)，把分量级传输转为位置级空间引导，不替代特征亲和而对其再加权。3.2.3节门控注意力风格化表明，多层键由浅深特征拼接归一构成，Q/K/V经1×1卷积，log(G?)加至注意力对数项，由注意力加权估局部风格均值μ?与标准差σ?调制Norm(C?)得A?，层5捕语义、层4 refin区域纹理、层3供跳跃。3.3节损失函数表明，五类损失联合优化使结构、全局/局部风格与颜色对应同被约束。第4节实验设100对COCO-WikiArt固定评测，常规指标（PSNR/SSIM/Gram Loss）加三类颜色指标（Lab-SWD、Palette-OT CIEDE2000、Region-Level OT）显示COTA在颜色三项均最低，PSNR 15.283、SSIM 0.649、Gram 1.272，Wilcoxon配对检验对AdaAttN三指标中位差为正且p<0.05，与StyA2K/MAST/SaMam部分指标无显著差异；消融去颜色模块（w/o CM）退化最剧（PSNR 12.746/SSIM 0.422/Gram 3.574），去ColorMaskNet或去OT+Guidance均次优，证各组件贡献。
讨论与结论翻译方面，论文结论指出：COTA显式建模颜色区域对应以补充常规特征相似匹配；共享ColorMaskNet在Lab空间软分解，可学习颜色度量与Sinkhorn最优传输建立颜色分量间全局耦合对应，传输计划投影为多层门控注意力空间先验。实验表明COTA在内容保真与风格相似间竞争平衡，统计分析确认较AdaAttN于PSNR、SSIM、Gram Loss显著改进，同时承认其他基线在部分指标占优；定性与消融进一步表明颜色建模与OT引导提升区域连贯与颜色分配。局限为固定K=8分量数未必适配极复杂分布，且同色异义区域难由颜色完全区分，未来将探自适应分解与更强语义引导，并拓展高分辨、视频与可控颜色引导。整体COTA为任意风格迁移中提升颜色一致与局部匹配提供结构化途径。
