编辑推荐：
为解决胃癌（GC）严重程度分级难题，研究人员提出基于内镜图像和诊断记录的多模态方法（MSGC）。实验结果显示，MSGC 的 Precision 达 94.84%、Recall 达 93.69%、Accuracy 达 94.14%、F1-score 达 94.26%，显著优于单模态及其他多模态方法。
胃癌，这个隐匿在人体消化系统中的 “健康杀手”，正严重威胁着人类的生命健康。在全球范围内，它是第五大常见癌症，其发病率和死亡率在所有恶性肿瘤中分别位居第二和第三。胃癌的病理特征独特，病变模式多样，尤其是在早期诊断和严重程度分级方面，给医学界带来了巨大挑战。
目前，常见的胃癌严重程度分级方法多为单模态，比如仅依靠内镜图像或者诊断文本。内镜图像虽能直观呈现胃部黏膜病变的形态，像肿瘤、溃疡、炎症等情况，但不同等级胃癌的内镜图像极为相似，仅靠它进行分级，准确率大打折扣。诊断文本虽然包含了病变位置、形状、大小、颜色以及病变类型和严重程度等详细信息，可却忽视了模态内特征的处理，使得各模态内的特征区分不清晰，同样影响分级的准确性。因此，如何更精准地对胃癌严重程度进行分级，成为了医学领域亟待攻克的难题。
在这样的背景下，国内研究人员积极开展研究，致力于找到更有效的解决方案。他们提出了一种基于内镜图像和诊断记录的胃癌严重程度分级多模态方法（MSGC）。这一研究成果发表在《Biomedical Signal Processing and Control》上，为胃癌的诊疗带来了新的希望。
研究人员在此次研究中，运用了多个关键技术方法。首先，采用增强型 ResNeXt 网络和预训练的 BERT 模型，分别从内镜图像和诊断文本中提取特征。其次，利用对比学习，将同一类别的样本映射到特征空间的相似位置，增强了类内相似性。再者，通过多头注意力模块，生成特征序列的加权表示，突出重要特征。此外，还设计了一种新的损失函数，将图像和文本特征的对比损失与预测分布的交叉熵损失相结合，促进文本和图像模态之间的相互学习。研究使用的样本来自当地医院收集的私有数据集，经经验丰富的医生标注分类。
下面来看看具体的研究结果：
- 方法有效性验证：研究人员收集临床数据并经医生标注后开展实验。结果显示，MSGC 在胃癌严重程度分级上表现出色，Precision 达到 94.84%，Recall 为 93.69%，Accuracy 为 94.14%，F1-score 为 94.26%。
- 对比实验结果：将 MSGC 与单模态（图像、文本）方法以及其他多模态方法进行对比，MSGC 在各项指标上均显著优于这些方法，充分证明了多模态融合的优势。
- 消融实验分析：通过消融实验，验证了模型中几个关键模块的有效性。比如，去掉对比学习模块或多头注意力模块后，模型性能明显下降，表明这些模块对于提升模型的分类能力至关重要。
- 可视化分析：对模型的特征表示进行可视化分析，发现模型能够有效捕捉到内镜图像和诊断文本中的关键信息，并且在多模态融合后，对胃癌严重程度的判断更加准确。
研究结论表明，MSGC 在胃癌严重程度分级方面效果显著，大大超越了单模态方法，同时也优于其他最先进（SOTA）的多模态方法。这一研究成果意义重大，它为胃癌的精准诊断提供了更可靠的技术支持，有助于医生制定更科学、更有效的健康管理和随访策略，从而提高胃癌患者的治疗效果和生存率。
在讨论部分，研究人员也指出，尽管多模态方法显著提升了胃癌严重程度分级的性能，但仍存在一定局限性。未来可以进一步探索更优化的模型结构和特征提取方法，拓展数据集规模和多样性，以进一步提高模型的泛化能力和准确性。总的来说，这项研究为胃癌诊疗领域开辟了新的方向，有望推动胃癌诊疗技术迈向新的高度，为更多患者带来生的希望。
