利用几何深度学习增强基于变压器的架构，通过迁移学习实现结肠镜下息肉大小的分类

《Artificial Intelligence in Medicine》：Enhancing transformer-based architectures with geometric deep learning for colonoscopic polyp size classification using transfer learning

自动分类系统在结肠镜多发性息肉尺寸评估中的应用研究，通过融合RGB图像与校正深度图实现客观分类，在超万例专家标注数据集上验证，10mm以上息肉识别精度达91.5%，召回率93.6%。

　　

摘要

在结肠镜检查过程中准确估计息肉的大小对于结直肠癌预防中的风险评估和监测计划至关重要。然而，目前的方法往往依赖于主观的视觉判断，这可能导致结果不一致和潜在的错误分类。本研究提出了一种深度学习框架，通过整合RGB（红、绿、蓝）信息和深度信息，实现了息肉大小的自动化和客观分类。

该方法利用改进的Af-SfM（Active Feature Selection and Surface Matching）模块生成精细且经过校正的深度图，并将其与RGB输入结合，以支持将息肉分类到临床相关的大小类别中。该模型在由专家胃肠病学家整理的超过10,000张标注的结肠镜图像数据集上进行了训练和验证。

实验结果表明，结合校正后的深度信息显著提高了分类性能，优于仅使用RGB信息的基线方法。对于直径为10毫米或更大的息肉，该系统的准确率为91.5%，召回率为93.6%。这些发现凸显了深度增强型深度学习方法在临床内镜检查中支持更一致、更准确息肉大小估计的潜力。