基于CLIP分类器引导扩散模型的水下图像增强方法研究

本文推荐一种创新的水下图像增强(UIE)方法CLIP-UIE，通过结合对比语言-图像预训练(CLIP)分类器和扩散模型，将自然域先验知识引入增强过程。该方法采用贝叶斯公式实现多分类器引导，并提出针对高频中间变量xt的局部微调策略，速度提升达10倍，有效突破了合成参考图像的限制。

　　

Highlight亮点

本研究提出CLIP-UIE框架，通过三个关键创新解决水下图像增强(UIE)的核心挑战：1) 基于三种合成方法构建50万张图像的UIE-air数据集激活扩散模型；2) 利用CLIP分类器注入自然域先验知识；3) 针对高频中间变量x_t设计10倍速的局部微调策略。

Introduction引言

随着海洋生态研究兴起，水下图像常出现色偏、低对比度等问题。传统物理模型方法在复杂环境中表现不稳定，而现有深度学习方案受限于合成参考图像质量。CLIP-UIE创新性地将UIE转化为条件生成任务，通过CLIP分类器引导扩散模型突破合成域限制。

Preliminary Knowledge of Diffusion Models扩散模型基础

扩散概率模型通过T步马尔可夫链逐步注入噪声（见图2），其前向过程定义为q(x_t|x_t-1)=N(x_t;√(1-β_t)x_t-1,β_tI)，其中β_t为递增方差表。

Benchmarks and Evaluation Metrics基准与评估

采用INaturalist构建UIE-air数据集训练图像到图像的扩散映射，通过PSNR、SSIM等指标验证，在UIEB等基准测试中展现更自然的增强效果。

Discussion and Future works讨论与展望

虽然CLIP分类器提升了结果自然度，但仍存在区域不一致性问题（见图7第三行）。未来将探索更稳定的跨域知识迁移方法。

Conclusion结论

CLIP-UIE通过扩散模型与CLIP分类器的多模态融合，成功将增强结果导向自然域，为水下视觉任务提供了新范式。