HCUC：结合整体一致性和独特性以实现PET/CT多模态分割

《Computers in Biology and Medicine》：HCUC: Combining holistic consistency and uniqueness for PET/CT multi-modal segmentation

多模态分割HCUC框架通过一致性挖掘和独特性提取融合公共与专有特征，有效解决PET/CT异质性难题，在 Hecktor、AutoPET和BraTS数据集上DSC达83.05%-94.34%，展现强泛化能力。

　　近年来，随着计算机科学和人工智能的快速发展，医学影像技术正经历从单一模态向多模态整合的转变。多模态影像技术能够结合不同模态的物理特性，为生物过程和疾病机制提供更加全面的理解，从而支持精准诊断、个性化治疗以及基础研究。例如，正电子发射断层扫描（PET）能够通过检测活跃的葡萄糖代谢区域，提供高敏感性和对比度的功能性影像，帮助定位和区分潜在的肿瘤；而其分辨率较低、存在伪影和强度不均匀等问题，又限制了肿瘤边界的准确勾画。相比之下，计算机断层扫描（CT）虽然具备高空间分辨率和清晰的解剖细节，但在低对比度图像中难以区分肿瘤与软组织，且背景信息过于简单，进一步影响了肿瘤的提取效果。因此，仅依赖单一模态的影像数据，难以实现对肿瘤的准确识别。通过结合不同模态的数据，可以整合各自的优势，弥补各自的不足，从而在代谢特征和解剖结构上实现对病灶的精准定位和功能评估。

在多模态学习和融合的背景下，现有的PET/CT分割方法虽然取得了一定进展，但仍然面临诸多挑战。首先，特征融合不够充分，导致多模态信息未能有效整合，影响了最终的分割效果。其次，很多方法过度依赖某一模态的引导，未能充分利用另一模态的信息，这在一定程度上削弱了模型的整体性能。此外，解码过程较为简单，无法充分挖掘多模态特征之间的深层联系，从而限制了模型在复杂肿瘤情况下的泛化能力。因此，当前的多模态分割方法在处理多模态数据时，缺乏对整体一致性与独特性的深入理解，难以实现多模态之间的深度协同。

为了解决上述问题，本文提出了一种全新的网络框架——HCUC（Holistic Consistency and Uniqueness Combining），旨在通过一致性挖掘和独特性蒸馏，实现多模态特征的全面融合。HCUC的核心思想是，通过整合不同模态之间的共同特征，同时保留各自独特的属性，从而在分割过程中实现更高的精度和鲁棒性。具体而言，HCUC首先对PET和CT图像进行一致性挖掘，提取出跨模态的共享病灶区域，并将其整合为统一的一致性特征。接着，通过独特性蒸馏，分别从PET和CT图像中提取和过滤出对分割有益的独特特征。最后，将一致性特征与独特性特征进行融合，实现对病灶区域的精准分割。

在方法设计上，HCUC采用了三个主要部分：（1）PET和CT的一致性挖掘；（2）PET和CT的独特性蒸馏；（3）一致性与独特性的融合。在第一部分中，HCUC通过提取PET和CT图像中的共享病灶区域，并将其整合为统一的一致性特征，从而实现对病灶的全面理解。在第二部分中，HCUC利用两个预训练的编码器对PET和CT图像进行处理，并结合CT的Sobel边缘信息，提取出各自独特的特征。通过这种方式，HCUC能够在保留各自模态独特优势的同时，实现更精细的分割结果。在第三部分中，HCUC将一致性特征与独特性特征进行融合，通过像素级的对齐和广泛融合，实现对病灶区域的精准分割。

为了验证HCUC在不同数据集上的性能，本文选择了两个PET/CT数据集——HECKTOR和AutoPET，以及一个MRI数据集——BraTS。HECKTOR 2022数据集包含了524例口腔和颈部肿瘤的FDG-PET/CT扫描，这些肿瘤通常较为隐蔽，形状不规则，且靠近关键器官，代谢活动变化较大。AutoPET数据集则涵盖了更多样化的肿瘤类型和位置，提供了更广泛的验证范围。BraTS数据集作为MRI领域的重要基准，包含了多种脑部肿瘤的MRI图像，用于评估HCUC在不同模态下的泛化能力。

实验结果显示，HCUC在HECKTOR和AutoPET数据集上分别取得了83.05%和82.34%的Dice相似系数（DSC），显著优于现有的多模态分割方法。特别是在处理形态复杂、位置特殊的肿瘤时，HCUC表现出了更高的准确性和鲁棒性。此外，在BraTS数据集上，HCUC也取得了94.34%的DSC，超越了其他专门针对MRI的先进模型，显示出其在多模态分割任务中的强大适应性和扩展性。这些结果表明，HCUC不仅能够有效整合多模态数据，还能在不同模态之间实现深度协同，从而提升分割的准确性和可靠性。

HCUC的提出，标志着多模态分割技术的一个重要进展。通过引入一致性挖掘和独特性蒸馏的机制，HCUC能够在保留各自模态独特优势的同时，实现更全面的特征融合。这种设计不仅提高了分割的精度，还增强了模型在复杂情况下的鲁棒性。此外，HCUC的结构设计使其能够灵活适应不同的多模态数据，为未来的多模态分割研究提供了新的思路和方法。

在实际应用中，HCUC的性能优势尤为明显。它不仅能够处理PET/CT数据，还能扩展到其他多模态数据，如MRI等，展现出强大的通用性和可扩展性。这一特点使得HCUC在临床医学中具有广泛的应用前景，尤其是在肿瘤识别和分割领域。通过结合不同模态的特征，HCUC能够提供更全面的病灶信息，从而支持更精准的诊断和治疗决策。

此外，HCUC的开发还得到了多项资金支持。这些资金不仅为研究提供了必要的资源，也推动了多模态影像技术在医学领域的应用和发展。通过这些支持，研究团队能够进一步优化HCUC的性能，并探索其在更多医学影像任务中的潜力。

HCUC的成功应用，不仅得益于其先进的算法设计，也离不开对医学影像数据的深入理解。通过对不同模态数据的物理特性和临床需求的分析，研究团队能够设计出更加符合实际需求的分割方法。这种结合理论与实践的研究方式，为多模态影像技术的发展提供了重要的参考。

在未来，HCUC还有很大的发展空间。随着医学影像技术的不断进步，HCUC可以进一步优化，以适应更复杂的多模态数据和更广泛的应用场景。例如，在实时动态分割方面，HCUC可以结合时间序列信息，实现对病灶的动态监测和实时分割。此外，HCUC还可以扩展到其他医学影像模态，如超声、X光等，为多模态影像技术的应用提供更广阔的可能性。

总之，HCUC的提出为多模态影像分割技术带来了新的突破。通过一致性挖掘和独特性蒸馏，HCUC能够在保留各自模态独特优势的同时，实现更全面的特征融合，从而提升分割的精度和可靠性。实验结果表明，HCUC在多个数据集上均取得了优异的性能，显示出其在多模态分割任务中的强大适应性和扩展性。未来，随着医学影像技术的不断发展，HCUC有望在更多领域和应用场景中发挥重要作用，为医学影像分析提供更加高效和精准的解决方案。