编辑推荐：
无线胶囊内镜图像质量低、对比度差的问题，本文提出结合生成对抗网络（GAN）与自适应单元（Ada4D-U）的图像增强方法，通过四分支判别器分别优化颜色校正和特征映射，在Kvasir和Red Lesion数据集上验证可提升图像结构相似性及出血性病变检测精度。
S Anand|R S Sowparnika|S Shalini
电子与通信工程，Mepco Schlenk工程学院，Sivakasi，泰米尔纳德邦，印度
摘要
无线胶囊内镜（WCE）是一种无创方法，用于观察消化道内部。由于相机的限制，WCE图像通常对比度低、亮度变化大且可见性差，传统的图像增强技术在许多情况下难以应用。大多数方法使用预设参数并忽略图像的固有信息；它们在不对数据造成错误的情况下无法保持真实色彩。本文提出的方法利用生成对抗网络（GAN）和无监督图像到图像转换（UNIT）模型来转换颜色。所提出的模型包含一个自适应的四层判别器Ada4D-U，旨在学习两个视觉域之间的转换。该模型由一个生成器G和四个自适应判别器D组成：两个D用于自适应颜色调整，另外两个D用于自适应特征映射。通过Kvasir和Red Lesion（RL）两个WCE数据集，使用参考指标和非参考指标评估了增强后的图像质量。结果表明，该方法在图像质量和结构相似性方面表现更好。Frechet inception距离（FID）指标用于衡量所提出的UNIT模型的改进程度。该方法被用作WCE任务的预处理步骤，包括出血病灶检测和病灶分割，并在RL数据集上验证了其有效性。通过准确性、F1分数、Dice系数、Jaccard指数等指标分析了分割和检测性能的提升。
引言
在医学成像中，图像增强通常是第一步，以提高复杂诊断和分析任务的质量。WCE是一种显著的医学成像技术，它使用封装在药丸大小设备中的小型无线相机来观察消化道内部。这种技术代表了一种无创的胃肠道（GI）系统检查方法。尽管WCE可以生成大量图像，但由于相机限制，这些图像往往质量较差且细节丢失严重。因此，增强处理对于准确诊断和解释至关重要。在增强WCE图像时，必须同时考虑多个参数（亮度、暗度、对比度、清晰度、细节和颜色）。
最近的图像增强方法大致可以分为两类：（i）基于学习的方法和（ii）基于传统滤波器的方法。直方图均衡（HE）、Retinex技术和融合技术是传统方法的例子。传统方法如HE和Retinex常常会扭曲颜色、放大噪声，并且无法保留细节，需要频繁的手动调整。图1展示了一个例子：WCE食道数据集的图像经过HE处理后的结果。大多数研究发现，从亮到暗（LTD）和从暗到亮（DTL）的区域无法同时实现有效的颜色转换。较亮的区域变得更亮，而较暗的区域变得更暗，图像的整体可见性并未提高。
基于学习的方法旨在通过自动适应来克服这些缺点，无需手动调整。这些方法可以通过监督学习或无监督学习实现；然而，监督学习需要大量的配对数据集，而这些数据集往往难以获得。因此，本研究提出了一种基于无监督学习的方法——自适应四层判别器Ada4D-UNIT（一种基于GAN的网络），用于增强WCE图像。我们的方法可以同时增强WCE图像中的明亮区域和低光照区域。
本研究的主要贡献包括：
•本文提出的Ada4D-U是一个重要的创新。
•与传统UNIT不同，所提出的网络使用一个生成器G和四个判别器D来提高性能。
•在所提出的模型中，输入图像权重的自适应修改基于生成器的输出。两个自适应网络——用于改进颜色转换校正的颜色调整自适应网络（CAAN）和用于特征映射的特征调整自适应网络（FAAN）——决定了这些权重。
•将所提出的方法应用于WCE图像后，可见性得到改善，特别是亮区域的可见性得到提升，同时也能处理低光照条件下的图像。
•在Kvasir和RL WCE数据集上的全面测试证明了该方法的有效性，显示出显著的增强效果。
•使用参考指标和非参考指标的定量评估证实了图像质量和结构相似性的提升。
•作为预处理步骤应用时，该方法显著提高了出血病灶的检测和分割性能。
相关工作
相关工作
已经提出了许多算法来增强低光照（LL）图像。本节简要回顾了传统技术和基于学习的技术，重点介绍了GAN和UNIT等无监督学习方法，这些方法为本研究提供了启发。
背景
生成对抗网络（GAN）目前因其生成高度真实图像的能力而受到广泛关注。GAN基于一种非合作游戏：生成器G生成合成数据，而判别器D试图将其与真实样本区分开来（图2）。G接受来自先验分布的潜在向量z，并生成样本G(z)，以最小化G(z)与真实数据分布D(x)之间的差异，其中x是从真实数据分布中选取的样本。最初，G容易生成
提出的方法
多种图像增强技术旨在提高WCE图像的清晰度，但大多数技术仅关注低光照区域。有效的增强需要同时处理明亮区域和暗区域，同时保持自然色彩和特征。为此，本文提出的方法将UNIT扩展到3D和4D，并在4D模型中加入了自适应机制。
结果与讨论
本节详细介绍了数据集、实现方法、实验结果以及与现有方法的性能比较。为了验证所提出方法的效率，对2D-U、3D-U和Ada4D-U在不同训练周期、训练样本、增强策略、优化算法和δ权重设置下进行了消融研究。此外还进行了基于CycleGAN的UNIT比较、损失评估、不清晰度掩蔽（USM）响应以及不同光照条件下的像素强度分析。
结论
本文介绍了Ada4D-U GAN，这是一种用于增强低质量、低对比度无线胶囊内镜（WCE）图像的无配对图像到图像转换模型。该模型包含一个生成器和四个自适应判别器，其权重根据生成器的输出进行调整，以改善颜色传输并保留局部特征。在两个WCE数据集上的实验表明，Ada4D-U有效增强了图像的细节、色彩、亮度和清晰度。
CRediT作者贡献声明
R S Sowparnika：撰写——原始草稿、可视化、软件开发。S Shalini：软件开发。S Anand：撰写——审稿与编辑、撰写——原始草稿、验证、项目管理、方法论设计、数据分析、概念化。
利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。
