Fusion-CapsNet：一种基于迁移学习的胶囊网络模型，通过融合特征和生成式人工智能增强技术用于斜视检测

《Computational Biology and Chemistry》：Fusion-CapsNet: A Transfer-Driven Capsule Network Trained on Fused Features and Generative AI Augmentation for Strabismus Detection

　　•提出ImWGAN-GP方法以稳定训练过程、降低成本并生成多样化的图像
•提出改进的TransUNet模型，以提升眼睛分割和边界勾勒的效果
•提出ImWPCA-ACDS方法，用于融合特征、保留语义信息并减少过拟合现象

**引言**
斜视是一种视觉障碍，其特征是双眼不对齐：一只眼睛注视目标物体，而另一只眼睛则偏离目标（Kang等人，2022年）。这种不对齐会干扰双眼视觉，导致深度感知能力下降以及视觉功能减弱。若不及时诊断，斜视可能会发展为弱视，最终导致永久性视力丧失（Huang等人，2021a）。大约3%至5%的人口受到斜视或屈光性弱视的影响，这是可预防的视力丧失的主要原因之一（Bosque等人，2021年）。特别是对于儿童来说，斜视是弱视的主要诱因（Mao等人，2021年；Ibrahimi等人，2021年）。及时发现并干预斜视对儿童的视觉和感觉运动发育至关重要（Joo等人，2024年）。准确测量眼球偏移角度对于判断疾病严重程度和指导手术治疗决策至关重要（Mengash和Hosni Mahmoud，2021年）。除了视力障碍外，斜视还与焦虑、抑郁情绪增加、自尊心下降以及教育成就、就业机会和社会互动方面的负面影响有关（Fatima，2022年）。尽管早期筛查非常重要，但许多地区缺乏能够进行全面斜视评估的儿科眼科医生（Zheng等人，2021年）。传统的筛查方法（如视力测试、遮盖试验和立体视觉评估）劳动强度大、耗时较长，并且高度依赖于临床医生的专业知识和主观判断（Chan等人，2023年）。此外，准确的检查需要患者的配合、较长的检查时间，以及近距离和远距离任务的结合，这对儿童来说具有挑战性。这些限制加上专家培训周期长以及数据采集和存储方面的后勤问题，阻碍了大规模和早期斜视筛查计划的实施（Wang等人，2024年）。为了解决这些问题，研究者们探索了利用数字图像和视频分析的自动化斜视检测系统（Kurdthongmee等人，2024年）。然而，斜视发病率的上升使得手动诊断变得越来越费力且容易出错（Hamid等人，2022年）。自动化检测方法提供了一种有前景的替代方案，可以实现高效、可扩展和客观的筛查。此外，数字和自动化方法可以扩大偏远地区人群接受斜视筛查的机会，这些地区缺乏医院眼科医疗服务，从而实现更快、更低的诊断成本（Huang等人，2021b）。深度学习（DL）的最新进展，如深度卷积神经网络（DCNN），在筛查和诊断儿童眼科疾病（如先天性白内障和早产儿视网膜病变）方面表现出了卓越的性能（Zhang等人，2023年）。在斜视检测研究中，将DL模型与专业眼科医生的诊断结果进行比较的研究表明，算法方法可以达到甚至超过专业医生的诊断准确性（Zhou等人，2024年）。因此，基于DL的方法已成为自动化斜视筛查系统的有力基础（Albuquerque Madruga Mesquita等人，2021年）。基于以上挑战，本研究的主要目标是开发一个自动化Fusion-CapsNet框架，通过解决现有方法存在的四个主要问题来提高斜视检测的准确性：医学图像资源有限、眼部区域分割不准确、异构视觉信息整合不足以及空间关系建模不牢固。所提出的框架是一种计算机辅助的筛查方法，能够自动识别不同类型的斜视，包括内斜视、外斜视、上斜视、下斜视和正常情况。为实现这一目标，该框架整合了生成增强、改进的分割、多特征融合和迁移驱动的胶囊分类模块。从分割出的眼部区域提取的手工特征提供了与眼球几何形状、纹理变化和结构变形相关的补充临床信息，而深度学习组件则学习了用于可靠分类的复杂判别模式。主要贡献包括：
- 提出了一种改进的Wasserstein生成对抗网络（ImWGAN-GP）方法，用于图像增强。该方法克服了传统GAN的高计算成本、梯度消失、模式崩塌和低分辨率合成等问题。ImWGAN-GP方法提高了训练稳定性，降低了参数复杂性，并在小数据集上也能高效运行。同时，它生成了高质量的合成医学图像，增强了数据多样性和斜视检测的鲁棒性。
- 引入了一种改进的TransUNet模型，以提升眼部区域分割能力。该模型通过改进的激活函数解决了梯度消失问题，包括Atrous Spatial Pyramid Pooling-Progressive Enhancement Module（AS-IPEM）模块，以捕获局部和全局上下文信息，从而实现更准确的分割和更好的边界勾勒。
- 提出了一种基于加权PCA和自适应串联及动态缩放（ImWPCA-ACDS）的特征融合方法，有效结合了异构特征集。与标准融合技术不同，WPCA-ACDS方法保留了语义信息，捕捉了长距离依赖关系并降低了维度。它改进了特征表示、减少了过拟合并且具有更好的泛化能力。
- 提出了一种结合迁移学习的改进CapsNet模型（ImCapsNet-TL）用于斜视检测。该模型包括改进的多头注意力层，有效建模了长距离特征关系；改进的边缘损失和正则化机制减少了过拟合和计算难度。ImCapsNet-TL提升了检测准确率和模型效率。

本文的结构如下：第1.1节介绍文献综述。第2节阐述所提出的斜视检测模型。第3节介绍数据集描述和实验细节。第4节进行总结。

**2025年的相关研究**
- Mahsa Yarkheir等人（Yarkheir等人，2025年）提出了一种基于DL的方法，用于从面部图像中识别和分类斜视。通过使用CNN，该方法在斜视的二分类任务以及外斜视和内斜视的八类偏移角多分类任务中取得了高准确率。该研究考虑了大量面部图像数据进行二分类和多分类。
- ?ükrü Karaaslan等人（Karaaslan等人，2023年）提出了一种基于DL的方法，通过Hirschberg测试从面部图像中检测和测量斜视。该DL算法可以检测眼睛、虹膜、角膜反射和瞳孔，并计算水平和垂直位移来评估斜视程度。在大量患者中进行测试后，该方法对左眼和右眼的准确率分别为91%和90%。虽然眼睛的三维特性与其二维数字表示之间存在差异，但该方法为所有年龄段的斜视筛查提供了一个可靠的工具。
- Renzhong Wu等人（Wu等人，2025年）提出了一种基于RIS-MLP的斜视诊断模型，该模型利用自然光照条件下的面部正面图像进行Hirschberg测试。RIS-MLP结合了光反射点和虹膜检测模块，在噪声和遮挡条件下准确提取主要空间特征。比较研究表明，RIS-MLP优于传统模型，在样本效率和减少噪声不平衡数据集的过拟合方面具有优势。
- Shubh Garg等人（Garg等人，2025年）提出了StrabNet-CQ模型，用于自动化斜视分类和量化。该模型使用YOLOv8进行分类，然后将结果传递给ResNet101进行进一步分类。ResNet18用于眼部标志点检测，评估水平和垂直偏移指数及角度偏移。该系统在斜视检测中的准确率为94%，在多类斜视分类中的准确率为90%，具有高灵敏度。
- Ayesha Jabbar等人（Jabbar等人，2024年）提出了一种创新的FedCNN-XGBoost组合方法，有效用于斜视检测。FedCNN和XGBoost利用GaDe图像提升了特征提取的准确性。该模型具有很高的准确率，对于斜视识别非常有效，有望显著提高诊断准确性，有助于多种患者的眼科疾病诊断。
- Ce Zheng等人（Zheng等人，2024年）提出了一种DL模型，用于系统化视频剪辑中斜视手术步骤的识别，以改进手术训练和评估。研究使用了479个斜视手术视频，将其分割成代表八个手术步骤的片段。比较了基于RNN和Transformer的两种DL模型，结果表明Transformer模型在手术步骤识别方面优于RNN模型，具有更高的准确率和F1分数。
- Guiying Zhang等人（Zhang等人，2023年）提出了一种MFFM模型，利用角膜光反射照片提高儿童斜视检测效果。通过结合深度特征和比率特征，MFFM模型的检测性能优于单一特征方法。实验结果表明，MFFM在准确率（97.17%）、灵敏度（96.06%）、特异性（97.79%）和AUC（0.969）方面均优于所有单一特征模型，显著提升了斜视检测效果。
- Yibiao Rong等人（Rong等人，2024年）使用了一种贝叶斯DL算法，并结合知识蒸馏来提高斜视检测性能。该算法提升了模型的预测能力和不确定性估计能力。研究表明，该模型在诊断准确性方面优于传统DL模型，知识蒸馏进一步增强了模型的性能和不确定性估计能力。表1总结了上述研究的重点特点和面临的挑战。

**尽管近期研究探索了基于DL的自动化斜视检测方法，但仍存在一些问题**
传统的基于CNN的面部图像分类方法（Yarkheir等人，2025年）在特定条件下表现良好，但它们对光照变化、眼镜和头部姿势变化等遮挡因素非常敏感，这降低了其在筛查环境中的鲁棒性。此外，基于Hirschberg测试的检测框架依赖于角膜光反射和虹膜定位（Karaaslan等人，2023年；Wu等人，2025年），虽然能提供定量偏差测量，但其准确性受背景噪声、图像质量和二维图像中表示三维眼结构本质的限制影响。这些缺点凸显了需要一种更可靠、可扩展的斜视检测方法，以有效处理实际变异情况，保留互补特征信息，并在不完整和不平衡的数据条件下保持稳定的性能。

**新的Fusion-CapsNet模型用于斜视检测**
图1展示了基于迁移驱动的胶囊网络的设计流程，该网络在融合特征和生成式AI增强方法上进行了训练，用于斜视检测。该模型包含多个阶段以实现准确的斜视检测，具体流程如下：
- 首先，使用改进的Wasserstein生成对抗网络（ImWGAN-GP）方法生成高质量合成图像，同时确保训练稳定性和降低计算成本。

**模拟过程**
所提出的斜视检测方法使用PYTHON进行模拟。使用的处理器是“第11代Intel (R) Core (TM) i5-1135G7 @2.40 GHz 2.42 GHz”，安装的RAM大小为16.0 GB（其中15.7 GB用于实际测试）。斜视检测的进一步分析使用了STRABISMUS数据集（https://www.kaggle.com/datasets/ananthamoorthya/strabismus）和Strabismus Detection数据集（https://github.com/MightyMax2312/Strabismus_Detection/tree/main）（仅用于交叉验证）。

**结论**
本研究提出了一种全面且高效的Fusion-CapsNet框架，用于斜视检测。ImWGAN-GP用于生成高质量合成图像，提高了数据多样性并降低了计算复杂性。增强后的图像经过预处理和分割，使用ImCapsNet-TL模型进行分割，该模型结合了AS-IPEM模块，有效捕获局部和全局上下文信息。从分割出的区域中提取关键特征，为斜视检测提供了精准的数据基础。

**作者贡献声明**
Priyanka Lahu Gaikwad：撰写与编辑、原始草案撰写、可视化、验证、监督、数据整理、概念构思。Sagar Bhimraj Tambe：可视化、验证、监督
利益冲突声明
作者声明他们没有已知的财务利益冲突或可能影响本文所述工作的个人关系。
Priyanka Lahu Gaikwad | Sagar Bhimraj Tambe