
-
生物通官微
陪你抓住生命科技
跳动的脉搏
跨路径统计分区注意力网络(CSPANet):实现内容结构与风格细节协同优化的图像风格迁移新范式
【字体: 大 中 小 】 时间:2025年07月26日 来源:Neurocomputing 5.5
编辑推荐:
针对现有注意力机制风格迁移方法存在的局部细节失真与视觉概念不一致问题,研究人员提出跨路径统计分区注意力网络(CSPANet)。通过创新性设计统计分区注意力迁移器(SPAM)和细节感知跳跃连接(DSC),实现了对浅层风格细节的精准捕捉与视觉概念的层次化迁移,在保持内容结构完整性的同时显著提升艺术风格再现质量。
在数字艺术创作领域,图像风格迁移技术始终面临着一个核心矛盾:如何既保持原始图像的内容结构完整性,又能逼真再现艺术作品的风格细节与整体视觉概念。尽管基于注意力机制的风格迁移方法如SANet、AdaAttN等取得了显著进展,但现有方法仍存在两个关键缺陷:其一是依赖复杂的特征处理流程导致浅层风格细节丢失,其二是全局注意力机制难以准确对齐风格语义与视觉概念信息。
针对这些技术瓶颈,河南科技大学信息工程学院的研究团队在《Neurocomputing》发表创新性研究成果。该研究提出跨路径统计分区注意力网络(CSPANet),通过三个核心技术突破实现了风格迁移质量的显著提升:首先采用跨路径特征处理直接提取编码器浅层风格信息;其次设计统计分区注意力迁移器(SPAM)结合快速Cholesky白化着色变换(cWCT)与权重分区算法,实现从色彩纹理到语义信息的层次化迁移;最后构建细节感知跳跃连接(DSC)动态注入浅层特征以增强细节保留。
关键技术方法包括:1) 基于VGGNet的特征提取框架;2) 创新性SPAM模块整合自注意力与局部卷积;3) 采用cWCT进行统计协方差矩阵对齐;4) 设计像素级权重分区算法;5) 构建动态特征融合的DSC连接。实验对比8种主流方法,使用COCO和WikiArt数据集验证有效性。
【Statistical-based Style Transfer】
通过分析统计迁移方法的演进,指出传统AdaIN仅调整一阶统计量,而WCT虽考虑二阶统计量但计算复杂。研究创新性地将cWCT融入注意力框架,实现高效统计对齐。
【Our Methods】
SPAM模块采用双阶段处理:粗粒度阶段通过cWCT转换色彩纹理特征,细粒度阶段利用注意力权重矩阵分区匹配风格语义。DSC连接通过门控机制动态调节浅层特征注入比例,实验显示该设计使内容PSNR指标提升2.3dB。
【Experiments】
定量评估表明,CSPANet在风格相似度指标(ArtFID)上较次优方法StyA2k降低15.6%,人工评估中73.5%的参与者优先选择其生成结果。消融实验验证SPAM和DSC的协同作用,移除任一组件都会导致局部细节评分下降40%以上。
该研究的重要意义在于:1) 提出首个融合统计迁移与分区注意力的混合架构,突破传统方法在视觉概念一致性方面的局限;2) 创新的跨路径特征处理机制将浅层细节提取参数量减少68%;3) 为多模态艺术生成提供可解释的特征对齐范式。正如论文结论所述,CSPANet建立的"统计-语义"双重对齐机制,为后续基于扩散模型的风格迁移研究提供了重要技术参考。研究获得国家自然科学基金(62471175)和河南省自然科学基金(232300421023)支持。
生物通微信公众号
知名企业招聘