融合解剖约束的神经符号框架用于卵母细胞显微图像分割

《Journal of Ovarian Research》：Neurosymbolic approach improves robustness of deep learning models for semantic segmentation of MII human oocyte images

　　

摘要

背景

基于形态学的第二次减数分裂中期（MII）卵母细胞评估仍是卵胞浆内精子注射（ICSI）工作流程的重要组成部分，但其受到操作者间变异性和可重复性有限的限制。深度学习方法在卵母细胞结构的自动分割方面已显示出良好的前景，但纯粹的数据驱动模型可能会生成在解剖学上不合理的掩膜。替代方案是将领域知识作为显式的结构和解剖约束集成到神经网络中，以指导训练过程。

方法

我们回顾性地分析了在单一中心接受ICSI的218名患者中采集的1,243张200倍放大倍数的显微图像。我们提出了一种神经符号架构，其中由一组知识驱动的解剖约束推导出的逻辑评分，应用于基于Transformer的模型（SegFormer）所预测的感兴趣区域。该评分在训练期间与分割损失一起使用，以指导参数更新，并在推理阶段作为形态可靠性的连续度量。神经符号模型与架构相同的基线模型进行了定量和定性比较。

为验证性能提升归因于逻辑规则的内容而非辅助项的存在，我们训练了两个具有相同损失形式和权重但不具备解剖学含义的对照模型：一个非结构化辅助损失和一个打乱语义的规则集。该框架还进一步与在同一数据集和划分上训练的U-Net及DeepLabV3+进行了比较，并将逻辑损失额外应用于卷积骨干网络。

结果

神经符号模型取得了0.84的宏平均交并比（IoU）和0.91的Dice评分，优于基线模型（IoU 0.80；Dice 0.88）、U-Net（IoU 0.76）和DeepLabV3+（IoU 0.81）。等权重的非结构化辅助损失未能复现这一提升（IoU 0.81；Dice 0.88），而打乱规则语义后性能显著下降（IoU 0.61），表明性能提升是由约束的内容驱动的，而非辅助项本身。

结论

通过将领域知识作为逻辑约束嵌入，所提出的神经符号框架能够比纯粹的神经SegFormer基线模型生成更准确、形态上更连贯的MII卵母细胞图像分割结果。该方法代表了未来ICSI工作流程中决策支持系统的一种有前景的图像分析组件。