GICAF-Net：一种基于跨注意力机制的图与图像融合网络，用于FNH（功能性结节）和HCC（肝细胞癌）的高光谱病理诊断

《Computer Methods and Programs in Biomedicine》：GICAF-Net: A Cross-Attentional Graph-Image Fusion Network for Hyperspectral Pathological Diagnosis of FNH and HCC

本研究针对术中区分局灶性结节增生（FNH）与肝细胞癌（HCC）的挑战，提出GICAF-Net模型。该模型通过双分支架构融合高光谱影像的伪彩色图像特征和图卷积的拓扑空间-光谱特征，并采用拓扑感知跨模态注意力（TACA）模块增强信息交互。结合多约束融合损失函数，在包含60例HCC和60例FNH的平衡数据集上验证，AUC达0.9571，准确率88.34%，显著优于现有方法，为术中快速诊断提供可靠技术支持。

　　在现代医学技术不断发展的背景下，肝癌的诊断和治疗已经成为一个备受关注的研究领域。肝癌是亚洲地区五大常见癌症之一，也是全球范围内癌症相关死亡的第二大原因，而在世界范围内则位列第三。其中，肝细胞癌（HCC）是肝癌中最常见的组织学亚型，约占原发性肝癌的90%。相比之下，局灶性结节增生（FNH）是一种常见的良性肝肿瘤，其在临床上的表现形式多种多样，尤其在一些特殊情况下，与HCC的鉴别变得尤为困难。因此，如何在术中快速、准确地区分这两种疾病，成为临床医生面临的重要挑战。

传统的影像学和组织病理学方法在处理这类疾病时存在一定的局限性。一方面，影像学技术如CT和超声虽然能够提供初步的诊断信息，但其分辨率和准确性在某些情况下难以满足需求。另一方面，组织病理学虽然被认为是最终诊断的金标准，但其过程涉及组织固定、切片和染色等多个步骤，耗时较长，通常需要48至72小时才能得出结论，这在术中快速决策方面显得不够及时。此外，早期病变仍然存在约3%至5%的漏诊风险，进一步限制了组织病理学在指导精准治疗方面的效率。

为了解决上述问题，近年来，研究者们开始探索利用深度学习技术进行肝肿瘤的辅助诊断。这些技术能够从多模态数据中提取更丰富的信息，从而提高诊断的准确性和效率。例如，有研究者提出利用多期CT图像进行肝肿瘤的识别，通过深度学习模型实现了对HCC、胆管癌（ICC）和转移性病变（MET）的高准确率分类。此外，还有研究者利用B型超声图像训练深度学习模型，以区分AFP阴性的HCC与FNH，取得了较高的敏感性和特异性。这些方法在一定程度上提升了术前诊断的性能，但其在术中实时应用方面仍存在不足，尤其是在图像获取和处理成本方面。

鉴于此，本研究提出了一种新的深度学习框架——GICAF-Net，旨在通过高光谱成像（HSI）技术，结合图像与图结构的跨模态融合，提高肝肿瘤的术中诊断精度和效率。HSI技术能够提供更详细的组织信息，包括空间和光谱特征，从而在疾病鉴别方面发挥重要作用。传统的影像学方法往往在光谱分辨率和信息获取方面存在局限，而HSI技术则能够弥补这一缺陷，为医生提供更全面的诊断依据。

本研究构建了一个平衡的高光谱肝肿瘤数据集，包含60例HCC和60例FNH样本。数据集的构建过程充分考虑了患者的年龄、性别等特征，确保样本的代表性。通过使用十折交叉验证的方法对模型进行评估，确保了模型的泛化能力和稳定性。此外，研究还设计了一种双分支的特征提取框架，分别用于提取伪彩色图像特征和图结构特征，从而更全面地捕捉肝组织的特征信息。

GICAF-Net的核心创新在于其跨模态融合机制。该网络采用了一种称为“拓扑感知跨模态注意力融合”（TACA）的模块，使得图像特征和图结构特征能够相互关注，并在融合过程中保持其贡献的平衡。这一机制不仅增强了不同模态之间的互补性和一致性，还提高了模型在区分FNH和HCC时的稳定性。同时，研究还引入了一种多约束融合损失函数，结合了预测置信度和跨模态注意力一致性，以提升模型的判别能力。

实验结果表明，GICAF-Net在区分FNH和HCC方面表现优异，达到了较高的AUC值（0.9571 ± 0.0068）、准确率（88.34% ± 1.10%）和F1分数（88.32% ± 1.11%）。这些指标均优于当前的基准模型，证明了该方法的有效性。此外，消融实验进一步验证了TACA模块和多约束融合损失函数在提升跨模态融合和分类性能方面的贡献。

本研究的主要贡献在于以下几个方面：首先，提出了一种新的跨模态特征融合框架，结合HSI和图结构数据，以更高效地融合空间、光谱和纹理特征。其次，开发了TACA模块，实现了图像和图结构特征之间的双向跨模态注意力融合，从而增强了不同模态之间的互补性和一致性。第三，引入了多约束融合损失函数，通过预测置信度和跨模态注意力一致性，提高了模型的判别能力和分类稳定性。最后，构建了一个平衡的高光谱肝肿瘤数据集，为后续研究提供了高质量的样本支持。

此外，本研究还强调了伦理规范的重要性。所有实验均遵循最高伦理标准，确保了数据的匿名化和去标识化处理，以保护患者隐私。同时，研究团队确保了所有实验过程的透明性和可追溯性，避免了数据伪造或篡改的情况。这些措施不仅符合医学研究的伦理要求，也为未来的研究提供了可靠的参考。

本研究的实施过程也体现了技术的创新性和实用性。在模型训练方面，采用了Adam优化器，初始学习率为0.001，并在检测到平台期时应用了学习率衰减因子0.5，以提高模型的收敛速度。此外，使用了最后一层的学习率乘数5倍，以加速微调过程。训练过程中，固定了批次大小为64，并进行了最多100轮的训练，同时设置了早停机制以防止过拟合。此外，采用了L2正则化（权重衰减）以进一步提高模型的泛化能力。

本研究的结论表明，GICAF-Net为肝肿瘤的术中诊断提供了一种新的解决方案。通过结合图结构和图像空间特征，该模型在疾病鉴别方面表现出色，具有较高的准确性和稳定性。此外，该方法在临床实践中展现出良好的应用前景，能够为医生提供更及时、更精准的诊断支持，从而提高治疗效果和患者预后。

总的来说，本研究在肝肿瘤的术中诊断方面取得了重要进展。通过引入高光谱成像技术，结合深度学习和图结构分析，GICAF-Net为医生提供了一种快速、准确且微创的诊断工具。这一工具不仅能够有效区分FNH和HCC，还能在其他肝肿瘤的鉴别中发挥重要作用。未来的研究可以进一步优化该模型，以提高其在更多临床场景中的适用性，并探索其在其他类型的癌症诊断中的潜力。