考虑镜片影响的定位与受物理规律约束的表示方法用于白内障分类

《Displays》：Lens-aware location and physics-constrained representation for cataract classification

　　

杨周|王岩|王琼|史玉清|方睿|董哲|白聪

• •
  提出LAPCNet，用于在复杂成像场景中实现可靠的白内障分类。
• •
  采用双路径镜头定位策略，以降低背景干扰。
• •
  将基于物理的光学约束和径向亮度先验与对比学习相结合。
• •
  通过细粒度空间上采样优化病变表征，提升分类精度。
• •
  在大规模白内障数据集上展现出最优性能。

引言

白内障是由于眼睛晶状体混浊而引发的疾病[1]，是全球范围内导致失明的主要原因。白内障分类[2]、[3]、[4]、[5]、[6]旨在从裂隙灯图像等资料中区分不同类型及严重程度的白内障，为分析白内障进展及开发计算机辅助筛查方法提供重要依据。

计算机视觉技术可大致分为二维视觉和三维视觉，后者侧重于从视觉观测中恢复深度、几何结构及空间信息。根据是否使用外部照明或投影，三维视觉还可进一步分为被动式和主动式方法[7]。被动式三维视觉通过捕获的图像推断几何信息，如单目深度估计、立体视觉、多视图视觉以及光场视觉。而主动式三维视觉则借助外部光源或投影模式来获取三维信息，典型技术包括飞行时间法、激光扫描以及结构光技术。作为基于结构光的代表性技术，条纹投影轮廓测量法已被广泛用于高精度的三维形状测量。该技术从传统的分析方法，如傅里叶变换轮廓测量法[8]、相移轮廓测量法[9]、莫尔轮廓测量法[10]、计算机生成莫尔轮廓测量法[11]、计算机生成频载莫尔轮廓测量法[12]、调制测量轮廓测量法[13]、相位差分轮廓测量法[14]、基于经验模态分解的轮廓测量法[15]以及基于视频投影的轮廓测量法[16]，发展到如今的基于学习的方法。这些基于学习的方法，包括基于贝叶斯推理的轮廓测量法[17]以及多注意力条纹恢复网络[18]，进一步提升了条纹投影轮廓测量法的鲁棒性和重建精度。

二维视觉主要涉及图像分类、物体检测以及图像分割[19]。在医学图像分析领域，二维医学图像识别已被广泛应用于多种任务，如多叶核白细胞计数[20]、重叠红细胞计数[21]、基于卷积神经网络的白细胞分类[22]、白细胞检测[23]、红细胞检测与计数[24]、白细胞分类[25]、基于连体网络的白细胞分类[26]、主动脉狭窄分类[27]以及弥漫性肺病图像分类[28]。在白内障分类方面，周等人提出了结合离散状态转换机制的深度神经网络，用于自动进行白内障分类[29]。王等人则提出了基于Transformer知识蒸馏的皮质白内障分级网络[30]。Eye-Vision Net[31]利用端到端的深度网络，从裂隙灯图像中判断白内障的类型与等级。MGLTCNet[32]则提升了长尾数据分布下的多粒度白内障分类能力。

然而，裂隙灯图像通常不仅包含用于白内障诊断的关键晶状体区域，还包含虹膜、巩膜和眼睑等无关组织。这些区域可能会引入背景噪声，使模型无法专注于晶状体的特定病理特征。为解决这一问题，一些研究采用了两阶段分类框架：第一阶段通过专家指导的裁剪（MGCNet[33]）、自动方法（如YOLOv3、Faster R-CNN[34]、[35]或边缘检测技术[36]）等方式定位病变或晶状体区域，随后再基于定位后的区域进行白内障分类。例如，刘等人[36]提出了一个框架，首先通过边缘检测技术定位晶状体区域，然后再利用卷积神经网络进行分类及多属性分级。徐等人[35]则使用Faster R-CNN进行定位，并训练ResNet-101回归模型用于分级。王等人[34]提出了TKD-Net，这是一种基于Transformer的知识蒸馏网络，通过区域分解和子评分建模来应对复杂的皮质混浊问题以及标注不确定性。尽管两阶段方法能够降低背景干扰，但定位阶段的误差仍可能引发后续分类的错误传播，尤其是在存在光照伪影和反射等复杂背景的情况下，如图1所示。

近期的一些研究探讨了令牌选择策略，旨在识别关键令牌并突出具有区分性的特征。例如，FFVT[37]通过计算Transformer各层之间的互注意力，融合多层令牌表示，并根据聚合后的注意力分数选择具有区分性的令牌以实现特征融合。类似地，另一种方法[38]将每个注意力头和Transformer层视为弱学习器，通过多头投票模块聚合注意力图，选出注意力分数较高的令牌，并通过跨层选择进一步优化它们。TransFG[39]引入了部件选择模块，该模块根据令牌对类别令牌的关注程度对补丁令牌进行排序，选取排名靠前的令牌来建模具有区分性的部件。ARS-CFA[40]则利用注意力分数聚合模块计算类别令牌与其他令牌之间的相关性，根据聚合后的注意力分数选择关键区域。上述方法有助于提取用于白内障分类的具有区分性的特征。然而，由于临床场景中的区域较为复杂，且同类样本之间存在细微差异，现有方法仍难以准确识别关键的具有区分性的晶状体区域，也无法捕捉到最具信息量的特征以实现可靠分类。

在本文中，我们提出了LAPCNet，这是一种专为白内障分类设计的新型框架，它融合了晶状体感知定位机制与基于物理的表征方法。为提高在复杂背景下晶状体定位的可靠性，我们设计了采用双路径定位策略的晶状体定位模块。其中，硬选择路径用于识别晶状体内最大的连续区域，而软选择路径则确保有效的梯度传播。通过融合两种路径的输出，该模块能够在复杂场景中精准定位病变中心，使模型能够聚焦于晶状体混浊等具有临床意义的区域，同时抑制角膜反射和背景噪声。为明确区分与病变相关的区域和无关区域，我们引入了病变约束模块，该模块采用复合约束策略，将基于物理的光学强度约束、径向亮度分布约束与对比监督相结合。具体而言，将与病变相关的令牌和无关令牌投影到统一的特征空间中，再通过对比监督进行优化，以提高特征的可分离性。鉴于裂隙灯图像中的病变区域在数值和空间上都具有特定的光学特性，我们应用光学强度约束，根据灰度值来模拟病变区域内特征响应的整体光学强度，使其与实际观察到的光学强度特性保持一致。此外，径向亮度分布约束则用于描述相对于病变中心的不同径向位置处的亮度变化。最后，为进一步优化病变区域的表征，病变细化模块通过空间上采样和细粒度卷积来丰富空间细节，从而提升分类性能。

我们的贡献总结如下：

• 1.
  我们提出了LAPCNet，这是一种用于白内障分类的新型框架，能够有效识别关键的具有区分性的晶状体区域。
• 2.
  设计了三个模块。晶状体定位模块是一种双路径注意力机制，结合了硬区域选择与基于软注意力的估计，从而能够在复杂背景下精准定位病变中心。病变约束模块则将基于物理的光学强度约束、径向亮度约束与对比监督相结合，用于区分与病变相关的特征和无关特征。病变细化模块则通过空间上采样和细粒度卷积来优化已定位区域的表征，丰富上下文细节，从而提升分类精度。
• 3.
  在大规模白内障数据集上的大量实验表明，所提出的模型在各项指标上均优于现有的先进方法，展现了其出色的性能和较强的泛化能力。

章节摘要

方法论

图2展示了所提出的LAPCNet的总体结构，它主要由四个核心组件构成：特征提取模块、晶状体定位模块、病变约束模块以及病变细化模块。我们采用Swin Transformer作为分层特征提取的骨干网络。晶状体定位模块首先通过注意力引导的选择机制识别与晶状体相关的令牌。之后，病变约束模块将这些特征投影到统一的特征空间中，并采用

实现细节

我们以在ImageNet-22K上预训练过的SwinT作为模型的骨干网络。训练策略和数据增强技术参考了[41]中的方法。该模型共训练100个周期，其中包括20个周期的线性热身阶段，每次迭代的批量大小为32。

大规模扩展版MGLTC数据集 [32]

该数据集按照6:2:2的比例划分为训练集、验证集和测试集。训练集包含9306个样本，验证集和测试集各包含3102个样本，总计15,510张图像，图像尺寸为3648 × 2432。该数据集

结论

在本文中，我们提出了LAPCNet，这是一种用于自动白内障分类的端到端框架。与传统将病变定位与分类分开处理的两阶段方法不同，我们的方法整合了三个具备病变感知能力的模块，从而直接提升模型识别具有区分性的晶状体区域的能力。具体而言，晶状体定位模块通过将硬区域选择与可微分的软注意力相结合，使得模型能够在复杂背景下精准定位病变区域

利益冲突声明

作者声明，他们不存在任何可能影响本文研究结果的已知财务利益关系或个人关系。

致谢

本研究部分得到了中国自然科学基金的资助，项目编号为U20A20196，同时也得到了浙江省自然科学基金的支持，项目编号为LY24F020019。