基于人工参与的双分支架构的图像超分辨率技术

《Journal of Visual Communication and Image Representation》:Human-in-the-loop dual-branch architecture for image super-resolution

【字体: 大 中 小 】 时间:2026年01月18日 来源:Journal of Visual Communication and Image Representation 3.1

编辑推荐:

  单图像超分辨率双分支网络DR-SCAN通过动态调整浅层与深层分支权重,在测试时平衡失真与感知质量,支持交互式LPIPS搜索优化,适用于地质等专家领域。

  
作者:Suraj Neelakantan、Martin L?ngkvist、Amy Loutfi
机构:瑞典厄勒布鲁大学机器感知与交互实验室(Machine Perception and Interaction Lab),地址:Fakultetsgatan 1, ?rebro, 701 82

摘要

单图像超分辨率技术旨在从一张低分辨率图像中恢复高频细节,但实际应用中往往需要在失真和感知质量之间取得平衡。现有方法通常只生成一个固定的重建结果,并且对这种权衡的测试时控制有限。本文提出了DR-SCAN,这是一种双分支深度残差网络,用于单图像超分辨率。在测试时,可以通过为两个分支分配不同的权重来动态调整它们对重建结果的贡献。交互式界面允许用户在推理过程中重新调整浅层和深层分支的权重,或者一键执行LPIPS搜索,从而在不重新训练模型的情况下调整失真与感知之间的平衡。消融实验表明,第二个分支以及残差块中使用的通道-空间注意力对于提高重建质量至关重要;交互式调整机制也展示了事后分支融合的实际价值。

引言

单图像超分辨率(SISR)技术可以从低分辨率(LR)图像重建高分辨率(HR)图像,在图像质量影响后续分析的应用中非常重要[1]。传统的上采样方法(如双三次插值)会模糊纹理和边缘[2]。深度学习(DL)模型,特别是卷积神经网络(CNN)如SRCNN[3],已经超越了传统方法,后续的DL模型还加入了残差学习[4]、注意力机制[5]和多尺度特征(例如RCAN[6])。然而,这些模型仍然是完全自动的,无法实现用户引导的重建。相关增强技术(如低光照和照片增强)也强调感知质量和可控的校正,例如RF-Net在无监督框架下结合了Retinex分解和曝光融合[7],而TPE通过基于变压器的曲线调整实现轻量级照片增强[8]。尽管这些方法针对的是光照/曝光问题而非分辨率退化问题,但它们强化了用户可引导增强技术的总体需求,而DR-SCAN正是通过测试时分支重加权实现了这一点。
本文提出了一种双分支、人机交互(HITL)超分辨率(SR)框架,适用于需要专家引导重建的场景。该方法允许在推理过程中进行交互式调整而无需重新训练模型。地质图像分析是一个关键应用案例,因为诸如突出显示微裂纹或矿脉等任务通常需要根据变化的目标进行即时调整。适应性超分辨率技术消除了重复训练的需求,特别适用于地质学等领域,因为这些领域的任务特定要求和特征重要性因样本而异,尽管它也适用于其他需要专家指导的领域。
当前的先进SR模型(包括RCAN[9]和SwinIR[10])生成的输出是固定的,在PSNR和SSIM等标准失真指标上仅有有限的提升。此外,最近的研究[11]、[12]、[13]表明,这些传统指标可能无法准确反映感知质量或任务特定的效用。通过在交互式界面中同时支持基于失真的(PSNR、SSIM)和基于感知的(LPIPS)评估,所提出的方法使领域专家(尤其是在地球科学等领域)能够根据不同的分析需求定制重建结果,从而增强了SR在专业应用中的实际影响力。
鉴于这些局限性,本文将超分辨率问题重新定义为一种可控的视觉推理问题,而不仅仅是失真最小化任务。所提出的双分支残差空间和通道注意力网络(DR-SCAN)提供了一个用户界面,用于动态调整重建结果,通过调节浅层和深层分支的贡献来实现这一点。DR-SCAN最初是为遥感和地质图像超分辨率设计的[14],在该领域中,相同的双分支架构在DeepRock-SR和UCMerced数据集上取得了显著的定量和定性成果。在此基础上,本文扩展了DR-SCAN,加入了人机交互推理机制,实现了测试时对浅层-深层分支融合的动态控制。尽管当前实验主要针对基准数据集(DIV2K + Flickr2K用于训练,Set5/Set14/BSD100用于测试),但先前的结果证明该架构非常适合地质图像处理,这也表明交互式变体同样可以惠及需要专家指导的领域。这种人机交互(HITL)设计允许用户在推理时平衡结构连贯性和纹理保真度,而无需重新训练。通过将推理控制与网络优化分离,DR-SCAN为超分辨率流程增加了可解释性和适应性。以往关于可控或HITL超分辨率的研究探索了多种策略来平衡保真度与感知之间的权衡,包括训练期间对损失权重进行重新分配以产生固定操作点[15]、推理时的检查点或输出插值[16]、实际SR流程中的去噪强度滑块[17],以及生成模型(如SRFlow[18])中的潜在空间操作。虽然这些方法有效,但它们通常依赖于外部控制、潜在变量或随机采样。相比之下,DR-SCAN引入了一种确定性的、在主干网络中的融合机制,实现了无需重新训练的测试时ROI局部控制。据我们所知,DR-SCAN是第一个引入用户可控双分支融合模型的超分辨率技术,允许在测试时进行感知适应。本文的其余部分讨论了相关工作、提出的架构、实验和结果。

相关研究

相关工作

传统的SISR方法(如双三次插值)速度快,但会模糊边缘和纹理[2]。基于稀疏表示和示例的方法[19]、[20]可以提高清晰度,但计算成本较高,且难以处理复杂纹理。深度学习模型(DL)解决了这些问题:SRCNN[3]引入了端到端的CNN,性能优于传统技术;VDSR[21]增加了深度和残差学习;EDSR[22]进一步优化了残差块;SRGAN[23]采用了对抗训练等方法。

方法论

出于对用户引导超分辨率架构的需求,DR-SCAN架构旨在区分精细的局部细节和全局的上下文结构。这通过双分支设计实现:浅层分支专注于高频信息(如边缘和纹理),而深层分支捕捉更广泛的图像上下文。每个分支都使用了结合了通道和空间注意力的残差注意力块,以提高网络的选择性处理能力。

基准测试的定量性能

表1总结了DR-SCAN与几种基准超分辨率方法在Set5、Set14和BSD100数据集上的PSNR和SSIM结果,缩放因子分别为x2、x3和x4。DR-SCAN在所有比较方法中始终优于传统方法(如双三次插值和SRCNN),并且在x4缩放因子下在BSD100数据集上的性能尤为突出,获得了最高的PSNR。

消融研究:双分支和注意力机制

比较了三种配置:基线(带RAB的双分支网络)、dual_no_rab(仅双分支网络)

结论

本文介绍了一种用于单图像超分辨率的双分支网络DR-SCAN。我们之前的研究证实了双分支残差注意力架构在地质XCT和遥感图像处理中的有效性。本文重点在于将这种HITL变体正式化并在标准SR基准测试中进行评估。将其扩展到地质数据集并进行人机交互用户研究是未来的重要工作方向。

写作过程中生成式AI和AI辅助技术的声明

在准备本论文时,作者使用了ChatGPT来改写部分句子。使用该工具/服务后,作者根据需要审查和编辑了内容,并对出版物的内容负全责。

CRediT作者贡献声明

Suraj Neelakantan:撰写初稿、验证、软件开发、方法论设计、概念构建。 Martin L?ngkvist:撰写、审稿与编辑、监督、方法论设计、概念构建。 Amy Loutfi:撰写、审稿与编辑、监督、方法论设计、资金获取、概念构建。

未引用的参考文献

[33], [34]

利益冲突声明

作者声明以下可能构成潜在利益冲突的财务利益或个人关系:Suraj Neelakantan表示获得了KK-stftelsen的财务支持。如果有其他作者,他们声明没有已知的可能影响本文工作的财务利益或个人关系。

致谢

本工作得到了工业研究生院协作AI与机器人技术(瑞典知识基金会,项目编号:20190128)的支持。计算资源由瑞典国家超级计算基础设施(NAISS)提供。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号