一种结合坐标注意力和焦点损失的混合深度学习模型用于胃肠道内窥镜图像分类

《Scientific Reports》：A hybrid CoordAttention model with focal loss for handling visual similarity in gastrointestinal endoscopic images

　　

摘要

胃肠道疾病是一项重大的全球健康挑战，需要及时准确的诊断才能实现有效治疗。深度学习在内窥镜图像分析中已展现出潜力。然而，类别不平衡和类别间的视觉相似性等问题会降低预测性能。本研究提出了一种混合深度学习框架，该框架结合了ResNet50和VGG16架构以及坐标注意力机制，以增强特征表示并提高分类准确性。两种架构分别通过坐标注意力进行优化，然后拼接成特征级混合模型，并进一步使用焦点损失进行细化以解决类别不平衡问题。在22类GastroVision数据集上的实验表明，所提出的带有坐标注意力的混合模型获得了比基线和现有最优模型更高的分数，宏F1分数为0.718，微F1分数为0.897，马修斯相关系数为0.886。未带坐标注意力的混合模型在焦点损失函数下获得了宏F1分数0.657，微F1分数0.835和马修斯相关系数0.816。焦点损失通过强调困难和代表性不足的样本来减轻类别不平衡的影响。所提出的方法未应用任何合成技术来处理不平衡问题，这可能使其适用于具有不同类别分布的数据集。尽管统一采用了标准数据增强来提高数据集的多样性，但未使用特定的类别平衡策略来人为地平衡类别分布。这些发现表明，所提出的框架是同时解决胃肠道内窥镜图像分类中类别不平衡和视觉相似性的有用方法。