《Biomedical Signal Processing and Control》：Topology-aware loss for segmentation in computed tomography images
编辑推荐：
拓扑感知损失函数通过持续同调分析预测图与真实图的拓扑差异，采用Vietoris-Rips滤波和Wasserstein距离优化UNet网络，在4327例CT影像的主动脉及大血管分割实验中实现1%-3%的f-score提升。
Seher Ozcelik|Sinan Unver|Ilke Ali Gurses|Rustu Turkay|Cigdem Gunduz-Demir
计算科学与工程项目及KUIS人工智能中心，科克大学，伊斯坦布尔，34450，土耳其
摘要
当使用标准损失函数进行训练时，分割网络并不会被明确地用来学习图像的全局不变量，例如物体的形状和多个物体之间的几何关系。将这些不变量纳入网络训练中可以帮助规范训练过程，从而提高分割性能，尤其是在标注数据有限的情况下。为此，本文提出了一种基于拓扑结构的损失函数，该函数通过持久同调引入了一个新的惩罚项，用于衡量真实值和预测值之间的拓扑差异。与之前建议的分割网络设计不同，这些设计通常是对预测图的似然函数和真实值的贝蒂数应用阈值过滤，所提出的模型则使用Vietoris–Rips过滤来获取真实值和预测图的持久图，并通过Wasserstein距离来衡量它们之间的差异。所提出的损失项被集成到一个基于UNet架构的编码器-解码器网络中，并使用PyTorch实现，拓扑计算则借助Ripser++和Gudhi库完成。实验使用了24名受试者的4327张计算机断层扫描（CT）图像，用于主动脉和大血管的分割。结果表明，所提出的基于拓扑结构的损失函数提升了分割性能。此外，与不包含该拓扑项的基损失函数相比，我们的模型在血管级别的f分数上实现了1%–3%的显著提升。
引言
编码器-解码器网络在各种分割问题上取得了领先的结果。它们的训练依赖于最小化损失函数，例如均方误差和交叉熵，这些函数通常分别定义每个像素的损失并汇总这些像素级的损失。这种汇总可以是无权重的，即为每个像素的损失分配相同的权重；也可以是有权重的，为难以学习的像素赋予更高的损失权重。在后一种情况下，像素权重可以在训练前预先确定并在训练过程中保持不变，例如，为靠近物体边界的像素或属于少数前景类的像素赋予更高的权重[1]或[2]。或者，这些权重可以在训练过程中根据网络性能进行动态调整，例如，降低网络在某个时期给出高后验概率的容易学习像素的权重[3]，[4]。
这些典型的损失函数仅基于每个像素的真实值和预测值来定义损失，但没有考虑其他像素的信息，并通过加权平均或求和来汇总这些损失，而没有考虑预测值之间的空间关系。由于这种定义方式是局部的，因此当训练数据量较少时，这样的损失函数可能不足以使网络学习到物体的形状或多个物体之间的几何关系。另一方面，网络学习形状的能力对于医学图像中的对象分割非常重要，因为这些对象通常具有由于其内在特性而形成的预期形状或几何结构。一个例子是人体中的主动脉弓和大血管的形态。主动脉以及大动脉和静脉（也称为大血管）并不是随机分布在人体上的，而是由于人体解剖结构而呈现出特定的几何形状（图1）。此外，它们在二维（2D）轴向图像中大多呈现为圆形物体，因为血管在三维（3D）空间中是管状的。这种解剖信息确实被人类标注者用来定位这些血管并划定它们的边界。
为了解决这个问题，本文提出了一种新的基于拓扑结构的损失函数，用于训练图像分割的编码器-解码器网络。这种损失函数被定义为加权交叉熵，其中训练样本（及其像素）的权重与其真实值和预测值对应的地图之间的拓扑相似度成反比。本文提出通过持久同调来量化这些地图的拓扑特征。持久同调是一种数学工具，它在0阶时粗略地衡量连通分量的数量，在1阶时衡量孔洞的数量（图2）。与更传统的同调概念相比，它的优势在于对噪声的鲁棒性更强。我们通过对对象轮廓的点云应用Vietoris–Rips过滤来计算每个地图的持久图，并通过将损失权重定义为该距离的函数来强制网络最小化相应持久图之间的Wasserstein距离。
所提出的方法在拓扑损失函数的构建及其网络集成方面与现有研究不同。尽管有最近的研究（如[5]、[6]）成功地使用持久同调来训练神经网络并利用真实值的拓扑结构，但我们的方法与这些研究有所不同。我们使用持久同调来学习真实值的不仅拓扑结构，还有几何结构。这里的几何结构指的是所讨论对象的差异性几何特性；在我们的案例中，是指主动脉的形状以及大血管之间的相对分布。我们在第2节中用更数学化的术语详细描述了这一贡献。总之，我们的贡献与以往研究的区别在于持久同调中使用的过滤类型、对真实值持久性的充分利用，以及用于比较真实值和预测图持久图的度量标准的选择。以往的研究基于网络预测的似然函数和真实值的贝蒂数来使用持久同调。此外，它们的损失函数仅确保真实值和预测值的拓扑结构相互匹配。与此不同，本文提出在对真实值和预测图的持久同调上使用Vietoris–Rips过滤，并结合相应的持久图之间的Wasserstein距离。使用Vietoris–Rips过滤考虑了真实值和预测图的几何结构，而基于Wasserstein距离的损失函数确保了这两种几何结构之间的匹配。
此外，这是首次在神经网络设计中提出使用基于拓扑结构的损失函数来分割主动脉弓和大血管，这些结构在人体中确实具有特定的几何形状，因此，这提供了一个示例，展示了神经网络保持几何结构特性的实用性。主动脉弓和大血管的分割非常重要，因为这通常是量化其特征和理解临床相关变化的第一步。例如，现有的血管变异可能在颈动脉支架植入或颈椎前减压手术中引起并发症。尽管有现有的网络设计用于分割主动脉和冠状动脉[7]、[8]，但没有一个在模型或损失函数中使用持久同调。
本文的两项主要贡献是：
- •
与以往的分割网络设计不同，它建议在对真实值分割和预测图的持久同调上使用Vietoris–Rips过滤，并引入了一个基于相应持久图之间Wasserstein距离的拓扑感知损失项。
- •
它是第一个使用基于拓扑结构的网络设计来分割主动脉弓和大血管的。
本文的其余部分组织如下：第2节回顾了与持久同调及其在深度学习中用于图像分割的相关研究。第3节描述了所提出的基于拓扑结构的损失函数及其在网络训练中的集成。第4节展示了实验设置以及定量和视觉结果。最后，第5节讨论了模型的局限性和未来研究的潜在方向。
相关工作和贡献
对于医学性质的视觉数据，人体解剖结构对形状有一定的限制。乍一看，使用拓扑不变量（如同调群的秩，即贝蒂数）似乎是合理的；然而，这些不变量较为僵化，总结噪声数据可能会导致复杂问题。解决这个问题的方法是使用持久同调，它对噪声数据和实际应用更为稳定和适用[9]、[10]。
方法论
我们的方法依赖于（1）通过持久图量化真实值和预测图的拓扑特征，（2）使用Wasserstein距离定义真实值和预测图的持久图之间的损失函数，（3）通过最小化所提出的损失函数来训练编码器-解码器网络。以下小节将详细介绍这些内容。
数据集
所提出的基于拓扑结构的损失函数在一个包含24名受试者的CT扫描数据集上进行了测试，这些受试者的诊断结果为肺栓塞。CT扫描使用的是128层厚的Philips Ingenuity CT扫描仪。以5 ml/s的速度注入了60 ml的非离子造影剂（iohexol；通用名称为Opaxol），并随后注入了100 ml的生理盐水。数据收集遵循了赫尔辛基宣言的原则，并得到了科克大学的批准
结论
本文提出了一种用于编码器-解码器分割网络的基于拓扑结构的损失函数，旨在捕捉单个物体的形状以及多个物体之间的几何关系。它通过持久同调量化真实值和预测图之间的拓扑差异，使用Vietoris–Rips过滤和它们相应持久图之间的Wasserstein距离。在24名受试者的4327张CT图像上的实验表明，
CRediT作者贡献声明
Seher Ozcelik：撰写——原始草稿、验证、软件开发、方法论、形式分析。Sinan Unver：撰写——审阅与编辑、监督、方法论、概念化。Ilke Ali Gurses：撰写——审阅与编辑、数据管理。Rustu Turkay：数据管理。Cigdem Gunduz-Demir：撰写——审阅与编辑、监督、方法论、资金获取、概念化。
写作过程中生成式AI和AI辅助技术的声明
在准备这项工作时，作者使用了Google Translator、Grammarly、ChatGPT和DeepL进行编辑和语法改进。使用这些工具后，作者根据需要对内容进行了审查和编辑，并对出版物的内容负全责。
利益冲突声明
作者声明以下可能的利益冲突/个人关系：Cigdem Gunduz-Demir报告称获得了土耳其科学技术研究委员会（TüB?TAK）的财务支持（资助编号120E497）。
致谢
本研究得到了土耳其科学技术研究委员会（TUBITAK）的支持（资助编号120E497）。作者感谢TUBITAK的支持。
