内窥镜图像质量复原的联合优化：弱光增强与镜面高光去除

《Biomedical Signal Processing and Control》：Joint optimization for endoscopic image quality restoration: Low-light enhancement and specular highlight removal

　　

• •
  提出了一种有效的统一内窥镜图像增强框架，共同解决由低光条件和镜面高光共存引起的复合退化问题。
• •
  所提出的框架是基于零参考的策略，依赖于内窥镜图像的内在视觉特性。
• •
  在公开可用的真实世界内窥镜视频数据集上，所提出的框架在低光增强和镜面高光抑制方面均优于大多数最先进的基于深度学习的方法。
• •
  所提出的框架是轻量级的，并满足临床内窥镜程序的严格要求。

引言

内窥镜视频的清晰度和色彩保真度对于准确的诊断和手术导航至关重要 [1]。然而，由于内窥镜设备的物理限制，例如其紧凑的尺寸和有限的光源，内窥镜帧通常同时遭受双重退化：低光区域的曝光不足和由镜面反射引起的过饱和。

具体而言，人体内缺乏环境光往往导致曝光不良的区域，解剖细节难以辨认。此外，受内窥镜的光学设计和传感器特性影响，镜面高光 [2] 会同时由潮湿或有光泽的组织表面上的强光反射产生，这使内窥镜图像的可见性变得更差。这些极端光照在实际中会影响结构信息，降低对比度，并影响下游任务的性能，如病变检测 [3]、分割 [4] 和临床解读。

由于内窥镜相机的工作环境，内窥镜图像复原面临独特的挑战。现有的最先进的复原方法通常是为了优化自然场景图像而提出的，不能直接应用于内窥镜图像。如图 1 所示，最新的低光增强模型 HVI [5] 在应用于低光照内窥镜图像时引入了严重的颜色失真。而且，镜面高光伪影仍然突出，这不利于整体视觉质量。最新的用于内窥镜的镜面高光去除模型 EndoSSR [6]，虽然在修复高光区域方面显示出了有效性，但未能充分增强暗区的细节。

同时，大多数主流的专业复原方法仅专注于解决内窥镜图像退化的单一侧面，要么是低光照情况，要么是镜面高光反射情况。通常，Chen 等人 [7] 提出通过人为压暗和向原始内窥镜图像添加噪声来生成严重曝光不足的图片，并重建合成退化的低光图像。然而，由于它没有专注于增强在恶劣光照条件下捕获的真实内窥镜图像，因此，它遭受了较差的泛化能力，未能提供在复杂体内环境中所需的充分鲁棒性。Li 等人 [6] 提出微调 SAM [8] 模型进行高光检测，并微调 LaMa [9] 进行区域修复。由于它需要大量的人工努力和计算资源进行参数调整，导致计算效率低下和部署成本高，因此无法满足临床诊断所需的效率要求。

总之，当前主流方法几乎都忽视了内窥镜图像中退化因子的内在耦合。内窥镜图像增强必须超越单任务策略，演变为能够同时处理两种退化的联合优化框架。

在本文中，我们创新性地提出在一个统一框架内共同解决低光增强和镜面高光去除，以增强内窥镜图像质量。这种协同优化策略实现了相互增强：低光增强为准确的高光检测建立了更清晰的基础，而高光修复反过来完善了全局亮度映射。这种协调在结构一致性和视觉保真度方面带来了显著改进。此外，所提出的框架基于为特定领域定制的轻量化架构和零参考策略。需要注意的是，在此上下文中，“零参考”具体指目标内窥镜领域内缺乏配对训练数据或真值 (GT) 监督。通过利用内在视觉特性，而不是依赖理想的配对样本——这在临床环境中众所周知难以获取——我们的方法实现了高保真增强，同时保持了优越的泛化能力。同时，轻量化设计确保了最小的计算开销，使该框架非常适合实时临床应用。

本文的主要贡献如下：

• •
  我们提出了一种有效的统一内窥镜图像增强框架，共同解决由低光条件和镜面高光共存引起的复合退化问题。用于低光区域的亮度调整网络和镜面高光去除网络都是基于零参考的策略，依赖于内窥镜图像的内在视觉特性。通过低光增强和高光修复的协同优化，该框架显著提高了结构连贯性和整体视觉质量。
• •
  我们提出了几个有效的模块以确保高质量的图像增强，例如用于保持色调一致性的线性颜色校正模块，结合动态块状融合和时间补偿以准确识别镜面区域的高光检测模块，以及融合小波变换和导向滤波以增强精细细节的图像细化模块。
• •
  在公开可用的真实世界内窥镜视频数据集上的大量实验表明，我们的方法在低光增强和镜面高光抑制方面均优于大多数最先进的基于深度学习的方法，同时表现出显著改进的泛化能力。

章节摘要

低光增强

低光图像增强的最新进展由深度学习推动，从需要配对数据的监督方法演变为无监督和零参考方法。早期模型如 LLNet [10] 和 RetinexNet [11] 需要配对的低光和正常光照图像进行训练。然而，收集此类数据通常是不切实际的，特别是在内窥镜等专业领域。

为了解决这些挑战，研究人员引入了基于非配对数据的方法，包括

概述

所提出的增强框架由三个顺序阶段组成：自适应光照增强 (AIE)、高光检测和语义引导重构 (HDSR)，以及多尺度图像细化 (MSIR)，如图 2 所示。

在 AIE 阶段，采用轻量级的零参考亮度曲线调整网络来自适应增强低光区域的亮度和对比度。然后使用线性颜色校正模块将色调分布与自然对齐

数据集

为了验证所提方法的有效性，我们在几个包含高分辨率内窥镜图像的公共数据集上进行评估。

实验细节

AIE 阶段中的亮度曲线调整网络使用原始 SICE 数据集 [30] 进行训练，该数据集专为自然场景图像的低光增强而设计。值得注意的是，训练期间没有涉及内窥镜图像。训练过程采用默认学习率 0.0001，批大小 8，并进行 200 个轮次。完成后，保存学习到的模型权重。然后使用这些权重来增强内窥镜图像，使网络能够

讨论

尽管所提出的框架性能强劲，但仍有一些挑战有待进一步调查。具体来说，某些组件仍然依赖于预定义的启发式规则和阈值。虽然我们已对这些手动先验进行了详细的敏感性实验，以确认其在当前条件下的最优性，但其固有的刚性可能仍会对更广泛、未见过的场景造成限制。这种依赖可能限制了该方法在高度多样化

结论

本研究提出了一种统一增强框架，共同优化低光增强和镜面高光修复。该方法集成了亮度曲线调整网络和基于参考的线性颜色校正与高光检测模块。在所提出的框架中，上下文感知重构由全局和局部结构语义引导。并提出了一种结合小波变换和导向滤波的多尺度融合策略，以细化纹理细节，从而

CRediT 作者贡献声明

Wendong Xu：写作 – 审阅与编辑，写作 – 原稿撰写，验证，方法论，正式分析，数据管理，概念化。Aiwen Jiang：写作 – 审阅与编辑，写作 – 原稿撰写，验证，方法论，资金获取，正式分析，概念化。Junrui Xu：写作 – 原稿撰写，验证，方法论，正式分析。Guanzhou Liu：写作 – 审阅与编辑，验证，方法论，正式分析。Zhiwei Chen：写作 – 审阅与编辑，

利益冲突声明

作者声明他们没有已知的竞争性经济利益或个人关系可能影响本文报告的工作。

致谢

本研究得到江西省重点研发计划 (Grant No. 20261BCG330015) 和国家自然科学基金 (Grant No. 62366021) 的支持。

Wendong Xu|Aiwen Jiang|Junrui Xu|Guanzhou Liu|Zhiwei Chen|Rui Cui