基于深度学习的多光子成像多模态融合网络用于胰腺导管腺癌淋巴结转移预测
《Biomedical Signal Processing and Control》:Deep-learning–based automated multimodal fusion network using multiphoton imaging for predicting lymph-node metastasis in pancreatic ductal adenocarcinoma
【字体:
大
中
小
】
时间:2026年10月18日
来源:Biomedical Signal Processing and Control 5.7
编辑推荐:
摘要淋巴结转移是影响胰 ductal 腺癌(PDAC)患者临床预后的关键因素,准确及时地识别淋巴结转移对于优化治疗策略和改善患者预后至关重要。然而,需要对大量病理切片进行广泛筛查,使其诊断充满挑战。多光子显微镜(MPM)是一种用于组织无标记二维和三维成像的强大工具,在胰腺肿瘤
摘要淋巴结转移是影响胰 ductal 腺癌(PDAC)患者临床预后的关键因素,准确及时地识别淋巴结转移对于优化治疗策略和改善患者预后至关重要。然而,需要对大量病理切片进行广泛筛查,使其诊断充满挑战。多光子显微镜(MPM)是一种用于组织无标记二维和三维成像的强大工具,在胰腺肿瘤诊断方面展现了可观的前景。诊断流程的自动化大幅减轻了病理医生的工作负担,同时保持了高度的准确性。本研究旨在利用MPM图像,开发一种高效的深度学习框架,以自动预测PDAC患者的淋巴结转移。我们评估了四种深度学习模型的性能:VGG16、ResNet50、MobileNetv2和金字塔视觉Transformer版本2(PVTv2)。基于PVTv2卓越且稳定的性能,我们开发了一种组合模型,命名为自动淋巴结转移分类网络(AutoLNMClassNet),该模型通过多层感知机将PVTv2提取的特征与胶原纤维特征及临床特征相结合。所提出模型的性能通过准确率、阳性/阴性预测值、敏感性和特异性进行评估。AutoLNMClassNet表现出卓越的性能,准确率达到0.922,曲线下面积为0.969,优于其他分类模型。这些结果表明,AutoLNMClassNet在检测淋巴结转移方面具有较高的可靠性和准确性,可作为PDAC诊断和治疗的有价值工具。引言胰导管腺癌(PDAC)是最具攻击性和致死性最强的癌症之一,五年生存率低于10%[1]。PDAC预后极差主要归因于其高度侵袭性的表型、术后早期复发以及转移[2]。手术切除仍然是唯一具有治愈潜力的治疗手段,可显著延长生存期。在超过70%的可切除导管腺癌患者中均可检测到淋巴结转移,即使原发肿瘤直径小于2厘米[3]。淋巴结状态是接受胰腺癌切除术患者生存的最重要预测因素之一,因为它既影响手术方式也影响患者预后[4],[5]。此外,对于大多数接受胰腺癌手术的患者,淋巴结清扫通常对于实现根治性切除是必要的。然而,部分无淋巴结转移的患者接受了淋巴结清扫,这可能降低其生活质量而未带来生存获益[6]。因此,在手术过程中精确及时地识别淋巴结转移对于优化治疗策略和改善患者预后至关重要。目前,淋巴结转移主要通过计算机断层扫描(CT)、磁共振成像(MRI)和超声内镜(EUS)等影像学技术检测。尽管这些方法应用广泛,但存在若干显著局限性。CT和MRI通常缺乏检测小型转移淋巴结所需的敏感性,可能导致疾病分期不足。此外,这些技术高度依赖放射科医生的经验,可能在诊断中引入主观性和变异性[7]。虽然EUS提供更高的敏感性,但其具有侵入性且依赖操作者,限制了其广泛应用[8]。目前,淋巴结病理检查仍是评估PDAC患者淋巴结状态的金标准。然而,标准病理工作流程劳动强度大,且无法提供即时术中反馈,可能限制手术决策的及时性[9]。因此,开发一种用于淋巴结转移评估的自动化和客观方法可以提高病理评估的效率和一致性。在本研究中,我们以回顾性福尔马林固定石蜡包埋(FFPE)数据集作为受控概念验证,探讨这一方法,为未来向更快速的术中评估转化奠定基础。PDAC表现出大量的细胞外基质(ECM)成分,其中胶原纤维尤为突出。肿瘤微环境中胶原纤维的结构和组织与肿瘤进展和转移密切相关[10]。根据胶原纤维的方向,它们可对细胞运动性产生双重影响——要么通过作为迁移屏障阻碍肿瘤侵袭,要么通过提供高速"高速公路"促进其侵袭[11],[12]。多项关于胰腺癌的研究报道指出,胶原纤维形态的变化,如宽度和/或长度的增加以及排列方式的改变,与更具侵袭性的肿瘤表型和增强的转移潜能相关[13],[14]。此外,其他研究证实了成纤维细胞在PDAC中的肿瘤抑制作用,表明肿瘤间质可能通过限制肿瘤进展和转移发挥保护作用。值得注意的是,高密度间质与疾病无进展生存期延长显著相关,进一步支持了其在抑制肿瘤进展方面的潜在保护作用[15],[16]。因此,胶原纤维特征的分析可能为预测淋巴结转移提供新型生物标志物。多光子显微镜(MPM),特别是二次谐波产生(SHG)成像,代表了一种先进的无外源性染色即可可视化ECM中胶原纤维的方法[17]。SHG对胶原等非中心对称结构具有独特的敏感性,提供了在PDAC微环境中可视化胶原纤维的高特异性。这种能力在PDAC中尤为珍贵,因为PDAC的ECM以富含胶原的致密间质为主。这些特性使SHG成为研究PDAC中ECM并评估其在淋巴结转移中潜在作用的理想技术[13]。近年来,深度学习技术在复杂影像数据分析中的应用取得了显著进展,特别强调医学影像分析领域。众多基于卷积神经网络(CNN)的深度学习模型已被用于结合影像和临床数据来预测各类癌症的淋巴结转移。例如,使用超声图像的深度学习模型Inception V3在预测乳腺癌患者腋窝淋巴结转移方面表现优异,其诊断准确性超过了放射科医生[18]。Lee等人应用了包括ResNet50、DenseNet和VGG在内的八种深度CNN模型,利用CT图像对甲状腺癌患者颈部淋巴结转移进行分类。在这些模型中,ResNet50在验证数据集上达到了最高性能[19]。Wang等人提出了一种增强型EfficientNet模型用于检测乳腺癌淋巴结转移[20]。最近,视觉Transformer(ViT)模型作为一种有前景的传统CNN替代方案脱颖而出,能够以更少的层数有效捕获全局图像特征[21]。这些模型在各种类型的癌症检测中展现了令人鼓舞的结果[22],[23],[24]。然而,其在胰腺癌检测中的应用,特别是预测淋巴结转移方面,仍未被探索。值得注意的是,尽管ViT模型在各种癌症检测任务中展现了相当大的前景,但在有效捕获复杂图像的多尺度特征方面存在局限性[25]。为克服这一挑战,在本研究中,我们提出使用金字塔ViT(PVT),这是一种专为处理层次化图像结构而设计的先进变体。与难以处理大图像全局上下文的传统CNN模型不同,PVT有效平衡了局部和全局信息,从而实现更精确的特征提取[26]。最近,PVT及其变体在各种医学影像分析任务中展现了卓越的成功。例如,Dong等人提出了polyp-PVT,利用PVT作为编码器提取稳健的多尺度特征以实现精确的息肉分割[27]。PVT架构也已被有效应用于阿尔茨海默病诊断和脑肿瘤分类的结构MRI数据,证明了其在捕获复杂生物组织中局部和全局依赖关系方面的有效性[28],[29]。鉴于这一已证实的成功,PVT架构可被认为非常适合从胶原纤维SHG图像中提取多尺度特征。为最大化这一能力,我们采用了升级版的PVTv2,该版本引入了重叠的patch嵌入、卷积前馈网络和线性复杂度注意力机制,以实现卓越的特征提取效率[30]。这种层次化设计特别适合处理胶原网络的复杂多尺度结构模式。然而,仅依赖自动化的图像特征提取可能会忽略关键的生物学和临床背景。因此,本研究的最终目标是开发一种针对PDAC淋巴结转移的高精度多模态预测模型。为实现这一目标,我们构建了一个自动淋巴结转移分类网络(AutoLNMClassNet),这是一个综合框架,将PVTv2提取的深度图像特征与手工构建的胶原特征(例如纹理和形态学指标)以及常规临床数据(例如肿瘤分期和大小)无缝整合。通过协同分析这些多模态特征,这种综合方法实现了淋巴结转移的高度稳健预测,最终支持改善患者分层和PDAC患者治疗策略的个性化。材料与方法所提出方法的完整工作流程,包括组织制备、多光子成像、多维特征提取、模型比较、多模态融合和最终性能评估,在图1中进行了示意性说明。MPM成像与传统病理成像的比较MPM图像是SHG和TPEF图像的组合,其中TPEF通道阐明细胞特征和组织结构,SHG通道提供ECM中胶原纤维组成和组织的洞察。图3和图4展示了转移性和非转移性淋巴结胰腺癌组织的代表性MPM图像及其相应的H&E染色图像。值得注意的是,MPM无需……讨论本研究通过开发基于深度学习的多模态网络AutoLNMClassNet,应对预测PDAC淋巴结转移这一重大挑战,该网络将胶原纤维特征与临床数据和基于MPM的深度学习图像特征相结合。我们的结果强调了胶原特征在淋巴结转移预测中的独特作用,并展示了基于Transformer的模型在处理复杂图像数据方面的优势,为……提供了新的见解。结论总之,本研究提出了一种有前景的深度学习框架AutoLNMClassNet,用于预测PDAC的淋巴结转移。将胶原纤维特征与临床和深度学习特征整合到多模态模型中,显著提高了预测准确性,为优化PDAC的外科和治疗决策提供了有价值的工具。PVTv2的使用进一步强调了基于Transformer的模型在处理复杂肿瘤影像方面的潜力。伦理声明本研究已获得福建医科大学附属第一医院机构审查委员会批准(批准编号:[2020]140)。由于本研究的回顾性性质,豁免了知情同意要求。本研究中所有方法均按照相关指南和规定进行。作者贡献声明郭庆民:撰写——初稿、可视化、方法学、调查、资金获取、正式分析。黄玉航:可视化、正式分析、数据管理。何佳佳:可视化、软件、方法学、正式分析。王广兴:可视化、验证、软件、正式分析。张军:验证、资源、数据管理。陈临颖:撰写——审稿与编辑、调查、数据管理。卓双木:撰写——审稿与编辑、监督。利益冲突声明作者声明,他们没有已知的可能影响本文所述工作的竞争性经济利益或个人关系。致谢本工作得到国家自然科学基金(62375104、U24A20314和62505110)、福建省自然科学基金(2023J01330)、厦门市自然科学基金(3502Z20227060和3502Z202572026)、国家临床重点专科建设项目(2022YBL-KF-01)的支持。郭庆民|黄玉航|何佳佳|王广兴|张军|陈临颖|卓双木
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号