通过残差生成技术控制潜在扩散模型以实现生成式图像阴影去除

《ACM Transactions on Multimedia Computing, Communications, and Applications》：Controlling the Latent Diffusion Model for Generative Image Shadow Removal via Residual Generation

　　

摘要人工智能摘要

要查看此由人工智能生成的摘要，您必须具有高级访问权限。

了解更多登录

摘要

摘要

大规模生成模型在各种视觉任务中取得了显著的进展，但它们在图像去阴影应用方面仍面临挑战。这些模型通常生成多样化、逼真的细节，但缺乏对真实性的足够关注，无法满足去阴影的关键要求，而去阴影需要精确保留图像内容。与之前试图从零开始重新生成无阴影图像的方法不同，本文利用扩散模型来生成和优化图像残差。这种策略充分利用了带阴影图像中的固有详细信息，从而更高效、更真实地重建无阴影内容。此外，为了防止生成过程中错误的积累，提出了一种跨步自增强训练策略。该策略利用网络本身来增强训练数据，不仅增加了数据量，还使网络能够动态纠正其生成轨迹，确保输出更加准确和稳健。另外，为了解决大规模生成模型在图像编码和解码过程中原始细节的丢失问题，设计了一种保留内容的编码器-解码器结构，该结构具有控制机制和多尺度跳跃连接，以实现高保真的无阴影图像重建。实验结果表明，所提出的方法基于大型潜在扩散先验可以生成高质量的结果，并忠实地保留阴影区域的原始内容。

人工智能摘要

人工智能生成摘要（实验性）

此摘要是使用自动化工具生成的，并非由文章作者撰写或审核。它旨在辅助发现、帮助读者评估相关性，并帮助来自相关研究领域的读者理解本文的工作。它旨在补充作者提供的摘要，后者仍然是文章的权威版本。点击此处了解更多。

点击此处对摘要的准确性、清晰度和实用性进行评论。这样做将有助于改进未来的版本。

要查看此由人工智能生成的简单语言摘要，您必须具有高级访问权限。