DMTC-Net：一种深度多任务恢复网络，用于眼底图像增强和散斑点估计

《Signal Processing: Image Communication》：DMTC-Net: Deep Multi-Task Restoration Network for Fundus Image Enhancement and Scatter Estimation

　　• DMTC-Net 联合恢复眼底图像并估计眼部散射情况。• 基于 CIELAB 的感知损失函数能够保持诊断颜色的真实性。• 物理信息驱动的散射头将网络输出与 DPFR 光学模型联系起来。• 预测的散射强度与白内障严重程度有很强的相关性（r=0.979）。• DMTC-Net 的运行速度比 DPFR 快 16 倍（每张图像 9.25 毫秒对比 147.30 毫秒）。

引言
高保真的视网膜成像是现代眼科诊断的基石，为眼科和系统健康提供了无创的观察窗口[1]。特别是眼底摄影，仍然是筛查、临床管理和监测导致失明的主要原因（包括糖尿病视网膜病变（DR）、青光眼和年龄相关性黄斑变性（AMD）的不可或缺的工具。这些图像中捕捉到的形态细节，如视网膜血管的口径、视神经头的地形以及微病变的存在，对于准确诊断和分期至关重要[2]。此外，“眼组学”和人工智能（AI）的出现增加了这些数据的价值，利用微妙的视网膜生物标志物来预测系统性疾病风险，如心血管和代谢疾病[3]。然而，眼底摄影的诊断效用从根本上取决于图像的真实性。这种真实性经常因患者自身眼部介质的退化而受损。白内障、角膜水肿或葡萄膜炎等病理状况会引起显著的眼内光散射，而不良的采集条件也会导致伪影[4]。这种退化表现为一系列临床干扰因素，包括不均匀的照明、极低的对比度、感知颜色偏移以及普遍存在的散射或朦胧效应。这种退化不仅仅是一个小麻烦；它直接影响了诊断的准确性。这些伪影可能会掩盖或模仿关键的高阶生物标志物，例如在 DR 中隐藏微动脉瘤，在青光眼中使神经视网膜边缘变得模糊，或在 AMD 中扭曲玻璃膜疣的外观。对于计算分析来说，这种影响尤为严重。最近的研究表明，由于这些质量问题，相当比例的临床眼底图像（例如约 21%）可能不适合用于自动化诊断系统，从而引入了巨大的不确定性，并限制了 AI 驱动的筛查在实际应用中的效用[4]。这种对强健信号处理的迫切需求与更广泛的工程和计算范式相符，在这些范式中，先进的预处理、优化技术和混合滤波已被证明对于改进自动化分级系统、评估被动工业系统以及在下游分析之前改进移动图像去噪至关重要[5]。因此，开发能够恢复退化眼底图像、纠正介质引起的伪影并确保高颜色真实性的强健计算方法，在计算成像和临床眼科学的交叉领域是一个关键且未满足的需求[6]。

分析诊断性眼底图像的一个基本挑战是有效补偿眼内散射，这主要是由于白内障等介质的不透明度引起的。这种复杂的非线性退化导致模糊和衰减，从而掩盖了关键生物标志物。这种退化是当代计算工具的一个主要失败模式，因为深度学习系统常常难以应对真实的临床挑战，并且严重依赖清晰介质的图像，使得很大一部分临床图像不适合自动化诊断[7]。为了数学上解构这种退化，开创性的双通道眼底反射（DPFR）模型提供了重要的理论突破[8]。DPFR 模型的重要性在于其物理一致性，它是第一个“揭示此前被忽视的特定双通道眼底反射特征”的框架。它正确地描述了光线通过浑浊介质（第一通道）并从中反射回来（第二通道）的独特路径[9]。这一原理仍然是物理驱动分析的黄金标准，并且仍在积极应用中，例如在 2C 中用于校正视网膜氧饱和度测量中的“双通道传输”伪影[10]。因此，虽然“黑箱”深度学习模型容易受到这些不透明度的影响，但 DPFR 模型为下一代强健的、基于物理的混合模型提供了必要的物理约束，可以将图像恢复转化为可量化的诊断工具。

双通道眼底反射（DPFR）模型提供了一个有前途的理论基础，但由于“实现差距”而面临重大实际挑战。传统的实现依赖于一个僵化的多阶段流程，结合了各种算法，导致三个主要问题：
1. 参数依赖性：需要手动调整参数，这使得过程计算强度大，并降低了其在不同临床数据集上的泛化能力[11]。
2. 顺序恢复架构易于累积错误，因为早期阶段产生的不准确性可能会通过后续处理步骤传播，导致恢复性能不佳和图像质量下降[12]。
3. 色彩真实性差：传统方法缺乏集成的颜色保持机制，导致临床重要颜色信息的表示不足[13]。

这些限制凸显了需要转向一种统一的端到端深度学习架构的必要性，这种架构可以直接从数据中学习 DPFR 物理的复杂逆映射，解决传统实现的缺陷。

为了明确解决传统多阶段流程中固有的参数依赖性和错误累积问题，我们引入了深度多任务颜色感知恢复网络（DMTC-Net）。这一框架代表了范式的转变，从迭代模型驱动的算法转向统一的、基于物理的深度学习架构。DMTC-Net 的主要目标是以端到端的方式隐式学习双通道眼底反射（DPFR）物理的复杂非线性逆映射。与传统的顺序估计和去除退化组件的方法不同，我们的统一网络直接从退化输入学习到恢复后的清晰图像的转换。这种方法减少了顺序流程中的累积错误传播，并用强大的数据驱动优化取代了手动参数调整[14]。该架构的一个核心创新是其多任务学习设计，它同时执行两个关键辅助任务以实现主要恢复目标。多任务学习已被证明可以通过利用相关目标之间的共享表示来提高泛化能力，使其成为联合优化恢复和估计任务的原则性选择[15]。

1. 感知颜色真实性（任务 1）：为了解决诊断颜色失真的关键问题，网络结合了一个在 CIELAB 色空间中运行的新颖感知损失函数。CIELAB 空间在感知上是均匀的，这意味着该空间中的欧几里得距离更好地对应于人类对颜色差异的感知。这种方法确保了诸如视盘苍白或出血色调等微妙而重要的颜色信息的保留，这些信息通常会通过基本的缩放或标准 RGB 空间损失函数丢失[16]。感知对抗训练已经表明，使用感知目标优化的图像到图像转换网络产生的输出在颜色真实性方面优于使用标准像素级损失函数训练的网络[17]。
2. 定量散射估计（任务 2）：超越简单的恢复，DMTC-Net 明确设计通过专门的输出头来提供定量眼部散射估计。这个辅助任务作为一个强大的基于物理的规范器，迫使网络将清晰的视网膜信号与散射成分分开，从而遵循 DPFR 模型的物理原理。

这种架构的收益是双重的。首先，它通过整体解决逆问题实现了更高的图像质量。其次，它增强了诊断的可解释性。辅助的散射头将恢复网络转变为可量化的诊断工具，生成一个像素级的散射图。该图作为一种新的、基于物理的生物标志物，用于表示介质不透明度，符合从标准视网膜图像中定量测量白内障等病理状况的紧迫临床需求[18]。

这项工作的主要贡献有四个方面。我们引入了 DMTC-Net，这是一种新颖的、统一的端到端多任务 CNN，旨在替代传统的、容易出错的顺序 DPFR 流程。为了确保临床真实性，该网络独特地结合了一个在 CIELAB 空间中运行的感知颜色真实性损失（???????????????），比之前的基本缩放方法更有效地保留了诊断上关键的 color 信息。此外，该架构还包含一个辅助的散射估计头（???????），它具有双重作用：它作为网络的基于物理的规范器，同时也提供了介质不透明度的可量化临床生物标志物。全面的定量和定性验证表明，DMTC-Net 在图像增强、雾蒙蒙效果抑制、计算效率（比传统 DPFR 流程快 16 倍）以及下游诊断效用方面显著优于最先进的方法，这通过改进的血管分割得到了证明。在不同成像分布下对血管分割的改善进一步验证了所提出的恢复方法的临床鲁棒性，因为增强的图像必须保留结构真实性[19]。

本文的其余部分组织如下：第 2 节回顾相关文献，第 3 节详细介绍提出的方法论，第 4 节展示实验结果，第 5 节总结研究。

视网膜图像退化的基础模型
关于视网膜图像恢复的文献植根于基于物理的建模。早期的努力采用了大气模型（如 Koschmieder 模型）来处理眼内散射[20]；然而，这些模型不适合眼科光学，因为它们假设了“单通道”光路径，未能考虑到眼睛的独特光学几何结构[21]。一个关键的突破是双通道眼底反射（DPFR）模型，它正式纳入了双通道光传播原理。

方法论
眼底图像分析的基本挑战是补偿由角膜水肿、葡萄膜炎或白内障等情况引起的眼内散射。双通道眼底反射（DPFR）模型通过正式纳入双通道光传播来解决这一问题，提供了物理上一致的恢复基础。然而，其实际实现依赖于一个僵化的、顺序的流程，结合了 Retinex 理论和 Dark Channel Prior（DCP），存在三个关键问题。

数据集和评估指标
所提出的 DMTC-Net 框架的性能在 Ameer Al-Mumineen A.S. Super Specialty Hospital – Najaf 收集的 1,265 张视网膜眼底图像的庞大临床数据集上进行了严格评估。为了这项基准研究，整个数据集被用于测试，提供了对每种方法在实际未见数据集上的增强能力的直接和严格的评估。

结论
这项研究面对了眼底摄影中眼部介质退化的持续挑战，这是准确眼科诊断和有效部署自动化系统的关键障碍。我们证明了传统的、多阶段的基于物理的 DPFR 模型实施方式从根本上受到参数依赖性、错误累积和色彩真实性不足的限制。为了克服这一问题，我们引入了 DMTC-Net，这是一个统一的、端到端的深度学习框架。

在撰写过程中生成式 AI 和 AI 辅助技术的声明
在准备这项工作时，作者没有使用任何生成式 AI 或 AI 辅助技术来进行核心研究设计、数据收集、数据分析或科学内容的写作。作者对出版工作的完整性和准确性负全责。

资金申请
这项研究没有从公共、商业或非营利部门的资助机构获得任何特定资助。

数据可用性
本研究的支持数据可以根据合理请求向相应作者索取。

作者贡献声明
Ali S. Abed Al Sailawi：写作 - 审稿与编辑、写作 - 原始草稿、可视化、验证、监督、软件、资源、项目管理、方法论、调查、形式分析、数据管理、概念化。
Hassan A. Hameed Al-Hamzawi：写作 - 审稿与编辑、写作 - 原始草稿、可视化、软件、项目管理、方法论、概念化。
Ali N. Jamaluddin：写作 - 审稿与编辑、写作 - 原始草稿、监督。

利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系，这些关系可能会影响本文报告的工作。

致谢
作者衷心感谢 Ameer Al-Mumineen A.S. Super Specialty Hospital – Najaf 在这项研究中的宝贵支持和合作。我们特别感谢医院管理和医疗人员对临床视网膜眼底数据集收集的协助以及在整个研究过程中的持续合作。

Ali S. Abed Al Sailawi
Hassan A. Hameed Al-Hamzawi
Ali N. Jamaluddin