《Journal of Hepatocellular Carcinoma》:Multimodal AI in Hepatocellular Carcinoma: Bridging Diagnosis, Therapy and Prognosis Toward Precision Oncology
编辑推荐:
背景:本文为叙述性综述,总结了多模态人工智能(multimodal AI)在肝细胞癌(hepatocellular carcinoma, HCC)中的最新进展。HCC是一种高度异质性的恶性肿瘤,传统单模态数据(如影像学、血清学、病理学)不足以实现精准诊断和个体
背景:本文为叙述性综述,总结了多模态人工智能(multimodal AI)在肝细胞癌(hepatocellular carcinoma, HCC)中的最新进展。HCC是一种高度异质性的恶性肿瘤,传统单模态数据(如影像学、血清学、病理学)不足以实现精准诊断和个体化治疗。多模态技术通过人工智能整合四类数据(影像学、病理学、分子学和临床数据),已成为一种有前景的解决方案。本综述旨在总结HCC多模态数据的来源、特征及标准化情况,并全面更新其在诊断、治疗决策和预后预测中的临床应用。
方法:研究人员在PubMed、Web of Science、Cochrane Library和中国知网(CNKI)中检索了截至2025年发表的关于HCC多模态AI应用的相关文献。研究人员还基于研究设计(回顾性vs前瞻性)、验证策略(内部vs外部)、样本量、多中心状态及偏倚风险(如数据泄漏、过拟合、类别不平衡)对纳入研究进行了严格评价。
结果:多模态模型在关键临床任务中展现出良好的性能,包括早期及非典型HCC的诊断、微血管侵犯(microvascular invasion, MVI)的术前预测以及治疗反应的评估。在预后评估方面,多模态整合在预测早期复发和总生存期(overall survival, OS)方面也显示出潜力。然而,挑战依然存在,包括多中心数据异质性、模型可解释性有限以及缺乏前瞻性验证。值得注意的是,目前尚无前瞻性研究或随机对照试验(randomized controlled trial, RCT)验证多模态AI在HCC中的临床获益,这凸显了当前研究与临床实施之间的关键差距。
结论:多模态AI在改善HCC管理方面显示出巨大潜力,包括更早的检测、更准确的风险分层和个体化治疗计划。然而,目前大多数证据仍为回顾性研究,在常规临床采用之前需要进行前瞻性验证。未来应重点关注不同数据类型间的更深层整合、构建标准化数据集、推进数字孪生技术,并促进这些工具向临床转化,最终改善患者预后。
关键词:肝细胞癌;多模态技术;人工智能;精准肿瘤学
论文主体内容总结
引言
肝细胞癌(hepatocellular carcinoma, HCC)是全球第六大常见恶性肿瘤,也是癌症相关死亡的第三大原因。2020年全球新增HCC病例超过90万例,相关死亡达83万例,其中半数以上集中在东亚地区。中国在HCC防控方面取得显著进展,1990至2021年间年龄标准化发病率(ASIR)、年龄标准化死亡率(ASMR)和年龄标准化伤残调整生命年率(ASDR)均显著下降,但中国肝癌发病率仍高于全球平均水平,且中国男性HCC负担的峰值年龄比全球男性人群早5至15年。HCC的主要病因包括乙型肝炎病毒(HBV)感染、丙型肝炎病毒(HCV)感染、酒精性肝病和代谢功能障碍相关脂肪性肝病(MASLD),且病因呈现地域差异。在临床实践中仍存在诸多挑战:血清甲胎蛋白(AFP)的敏感性仅为39%至64%;超声对小于3cm的小HCC病灶漏诊率高;靶向治疗和免疫治疗的客观缓解率通常低于30%;传统预后模型主要基于临床病理参数,术后5年复发率仍高达50%至70%。多模态技术通过整合影像学、病理学、分子学和临床数据,利用信息互补实现"1+1>2"的协同效应,为克服上述瓶颈提供了新机遇。人工智能(AI),特别是深度学习,已成为多模态数据高效整合和深度分析的主要驱动力。
多模态数据的来源与特征
HCC的发生和进展是一个复杂的多水平生物学过程,单一模态数据无法完整阐释疾病全貌。多模态数据整合了影像学、病理学、分子生物学和临床实践信息,为HCC的精准诊断、个体化治疗和预后评估提供全面支持。
影像学模态:多期增强CT可清晰显示肿瘤血供、边界完整性及与周围血管的解剖关系,基于CT图像的深度学习模型在鉴别肝脏良恶性肿瘤方面准确率达94.7%。磁共振成像(MRI)通过多序列成像可详细评估肿瘤血管生成、细胞密度和分化程度,其影像特征与微血管侵犯(MVI)和肿瘤分级等预后因素密切相关。新兴的双示踪剂PET/CT技术的新病灶检出率为14.3%,可分别使11.7%的患者分期和治疗策略得到调整。能谱CT和MR弹性成像等先进技术进一步增强了对肿瘤化学成分和组织硬度等生物学特征的评估。
病理学模态:病理学是HCC诊断的金标准,可从组织学角度准确反映肿瘤类型、分化程度和免疫微环境。全玻片成像(WSI)可实现肿瘤区域的精确分割和定量分析,深度学习算法已成功应用于自动识别肿瘤和正常肝组织。免疫组织化学等技术可量化肿瘤内免疫细胞浸润,并通过特定生物标志物的表达辅助HCC的鉴别诊断和预后分层。
分子学模态:基因组测序可检测多种分子改变,包括关键基因突变如TP53和CTNNB1以及FGF19扩增,其中TP53突变通常提示更高的肿瘤侵袭性和更差的预后。转录组分析可阐明免疫相关基因的表达谱,为预测患者对免疫检查点抑制剂治疗的反应提供线索。循环肿瘤DNA(ctDNA)作为一种微创检测方法,在HCC早期筛查、治疗反应监测和复发预测方面展现出巨大临床应用潜力。
临床模态:年龄、性别、肝炎病毒感染史等临床信息与HCC的风险、临床表型和预后相关。PIVKA-II与AFP联合检测可显著提高小HCC病灶的检出敏感性,术前AFP水平可有效预测MVI风险。治疗方式、方案和详细疗效评估信息可提供真实世界证据,为优化治疗策略提供参考。
多模态数据的标准化、质量控制与整合:已有研究制定了HCC多模态数据采集和质量控制共识。对于大于1cm的结节,应采用MDCT、EOB-MRI或CEUS进行评估;对于肝硬化患者,应根据Child-Pugh分级适当延长MRI肝胆期延迟时间;分子层面应同时检测AFP和PIVKA-II并监测其动态变化;临床层面需收集患者肝炎病史和Child-Pugh分级,并确保临床、影像和分子数据的时间一致性。
多模态AI研究的方法学评价框架
多模态数据指来自不同来源的两种或以上数据类型(如影像、病理、分子和临床数据)的任意组合。多模态成像特指多种成像序列或技术的组合(如T1加权、T2加权和DWI MRI)。影像组学(radiomics)指从医学图像中高通量提取定量特征。多组学涵盖基因组学、转录组学、蛋白质组学等分子层面。多模态AI或多模态融合通过不同策略实现异质数据模态的算法整合,包括早期融合(在输入层合并原始特征)、中间融合(在隐藏层合并学习表征)、晚期融合(整合独立单模态模型的决策或预测)和混合融合。
判别力(discrimination)通过AUC或C指数评估模型区分有无结局患者的能力;校准度(calibration)评估预测概率与观察结局之间的一致性;决策曲线分析(DCA)用于评估临床效用。内部验证评估同一数据集内的可重复性,外部验证则测试模型在来自不同机构、时间或人群的独立数据上的表现。关键陷阱包括过拟合和数据泄漏。报告标准方面,TRIPOD+AI为临床预测模型提供指导,PROBAST+AI用于偏倚风险评估,CLAIM适用于医学影像AI,STARD-AI用于诊断准确性评估,CONSORT-AI用于AI干预的随机对照试验。
多模态技术在HCC早期诊断和鉴别诊断中的应用
提高早期检出率:虽然超声仍是高危人群的一线筛查方法,但其对小或非典型病灶的敏感性有限。IVIM-DWI多模态MRI结合ADC和D等多参数,诊断小肝细胞癌(sHCC)的AUC达0.872,优于任何单一参数。简化多模态MRI在检测早期HCC病灶方面也表现出优异性能,Yokoo等人收集了299例肝硬化患者的动态增强简化MRI数据并与术中病理结果比较,该技术检测早期HCC的敏感性和特异性分别为88.2%和89.1%,在代偿期肝硬化(Child-Pugh A级)患者中敏感性高达94.2%。AI的整合进一步提升了检测性能:LiAIDS系统利用3D CSwin Transformer模型提取三维空间信息,将小于1cm病灶的检出率从0.862提高至0.893;MMF模型整合临床、影像和免疫信息等多维数据,诊断小HCC和AFP阴性HCC的AUC分别达0.996和0.974。
增强病灶定性鉴别能力:非典型HCC常与增生结节、血管瘤等良性病变影像特征重叠。基于T2WI和DWI的影像组学列线图模型纳入年龄、病灶位置等临床因素后,训练和验证队列的AUC分别达0.988和0.955。STIC深度学习模型整合多期增强CT特征和临床数据鉴别HCC与ICC,AUC达0.893,辅助医师使用时诊断敏感性提高26.9%。基于增强MRI的VGG19组合模型鉴别双表型肝细胞癌(DPHCC)与HCC和ICC,AUC达0.990,准确率为0.935。LiAIDS系统鉴别HCC、ICC和肝转移癌的AUC分别为0.986、0.881和0.920。
多模态技术在HCC分期、分级和治疗反应评估中的应用
HCC的精确分期和生物学行为评估:宏观层面,CT和MRI多序列融合模型可精确测量肿瘤直径并详细评估血管受累情况,肿瘤直径≥5cm与晚期分期和不良预后密切相关。SALSA工具基于CT成像可自动检测HCC、勾画轮廓并量化体积,结果与病理分期高度一致。TrdAL多模态MRI整合模型对大、中、小和微小病灶的分级准确率分别为90.38%、87.74%、80.68%和77.78%。微观层面,多模态技术实现了MVI的术前无创预测:传统MRI方法的MVI预测最大AUC仅为0.825,而基于术前多期增强CT的影像组学混合模型在内部和外部验证队列的AUC分别为0.86和0.84;跨模态张量融合(CMTF)模型整合MRI与临床指标后MVI预测AUC达0.945;结合MRI影像组学与血浆miR-21的放射基因组学模型预测MVI的AUC达0.900。此外,增强MRI的定量参数(如T1、T2、f、D等)已被证明与HCC中增殖相关基因(HIF-1α、APE1)和肿瘤抑制基因(FOXP2、p53)的表达水平显著相关。
HCC治疗反应评估:局部治疗后,Recurr-NET模型采用残差网络从多期CT图像提取特征并利用随机生存森林整合临床参数,可有效提示术后残留病灶。基于多模态MRI的影像组学模型提取T1WI、T2WI、DCE和DWI图像纹理特征并计算Rad-score,预测TACE后肿瘤无反应的训练和验证队列AUC分别为0.842和0.803。RECISTSurv模型通过多任务Transformer架构整合TACE前后纵向CT图像,实现肿瘤分割、反应预测和生存评估的同步进行,其预测2年生存率的AUC显著优于传统mRECIST标准。系统治疗方面,多模态测序技术可揭示免疫微环境的动态变化,应答者通常表现为CD8+ T细胞显著克隆扩增和Th1细胞亚群富集,而非应答者常表现为异常脂质代谢和M2巨噬细胞浸润为主。UBASH3B/NR1I2/CEACAM1/HAVCR2信号轴的异常激活与免疫治疗耐药相关。Yu等人整合PET-CT、MRI和ctDNA动态监测数据构建多模态深度学习框架,区分假性进展的AUC达0.97。
多模态技术在HCC诊断、治疗决策和导航中的关键作用
个体化治疗策略推荐:多模态分析鉴定的HCC十个共识驱动基因(如TP53、AXIN1和CTNNB1)已被验证与肿瘤转录组谱、信号通路激活和患者预后密切相关。TP53突变患者免疫微环境中CD4+ T细胞浸润减少,可推荐酪氨酸激酶抑制剂(TKI)联合免疫检查点抑制剂治疗。基于多模态CNN-Transformer架构的模型结合术前MRI特征与肿瘤数目、肝功能指标和免疫细胞亚群比例等临床参数,预测HCC患者对TKI联合免疫治疗反应的验证队列AUC达0.785。针对不可切除HCC患者,多模态融合系统结合CT影像特征和临床数据可准确预测免疫治疗疗效,识别适合转化治疗的患者。
肝切除和消融的精准规划与术中导航:多模态图像融合技术整合CT和MRI的解剖信息与三维重建及实时超声成像,促进精确的术前规划和实时术中导航,可显著提高R0切除率和完全消融率。增强现实(AR)技术将虚拟三维模型与真实手术野实时整合,结合术中超声引导可准确识别肝内血管和肿瘤边界。达芬奇手术系统中集成的多模态成像座舱可同时显示虚拟现实三维模型、近红外荧光成像和术中超声图像。吲哚菁绿(ICG)荧光成像通过肿瘤特异性荧光标记精确描绘肝段边界,并能敏感检测常规影像方法难以识别的小于2cm的小病灶。Pu等人评估了术中虚拟超声(RVS)导航联合ICG荧光成像的可行性和有效性,一年总生存率达100.0%,一年无病生存率为92.7%。
多模态技术在HCC预后预测和复发监测中的应用
复发风险预测:基于Gd-BOPTA增强MRI影像组学与临床病理特征融合的模型预测早期复发的AUC达0.913。MVI是反映肿瘤侵袭性的关键危险因素,MVI阳性患者TACE后12个月复发率达70.4%,而MVI阴性患者仅为25.0%。基于三维多期CT成像的MM-RDLM模型预测早期复发的训练和验证队列AUC分别为0.955和0.930。Recurr-NET模型整合术前三期CT图像和临床参数,预测1至5年复发的AUC为0.770至0.857。多模态Vision Transformer模型(ViT-Q-ITH)通过量化瘤内异质性,预测不同消融方式后复发的AUC为0.82至0.86。
生存预后预测:多模态数据融合显著提高了HCC生存预后预测的准确性。Wang等人整合术前增强CT影像组学和临床数据构建随机森林模型,预测肝移植患者1年、2年和3年复发的AUC分别为0.881、0.906和0.915。TRIM-uHCC模型主要针对不可切除HCC,整合CT影像、病史叙述和临床参数,C指数为0.71至0.79,显著高于传统分期模型(0.51至0.61)。RECISTSurv模型的风险评分已被验证为独立预后因素(HR=1.693至20.7)。晚期患者方面,18F-FDG PET/CT生境影像组学模型结合堆叠学习预测1年、2年和3年总生存期的AUC分别为0.835、0.828和0.800。整合基线和随访CT图像及临床变量的CRNN模型HR为3.330,优于传统RECIST标准的1.992。
复发监测的新模型:"影像加液体活检"的联合监测策略有效克服了传统监测方法在敏感性和特异性方面的局限。cfDNA中AFP基因的定量检测诊断HCC的AUC达0.998,可在临床确认前数月检测到复发信号。整合cfDNA、AFP动态变化和AFP阳性循环肿瘤细胞(CTC)计数的复合标志物用于复发风险分层的AUC达0.89。
挑战与展望
当前挑战与局限性:对纳入的28个多模态AI预测模型的方法学质量评估显示,96.4%为回顾性研究,67.9%为多中心研究,67.9%进行了外部验证,75.0%使用了独立测试集。校准度报告率仅为35.7%,决策曲线分析报告率为35.7%,类别不平衡处理仅占10.7%,缺失数据处理描述占25.0%。值得注意的是,28项研究均未明确声明遵循任何AI专用报告指南。证据图谱显示,诊断、分级/MVI、疗效评估和预后/复发预测四个任务中均未达到第4级证据水平(前瞻性或临床影响研究)。此外,多模态整合并非总是优于单模态方法,有研究显示多模态模型在预测MVI方面未能显著超越单模态3D-CNN(验证AUC 0.887 vs 0.906,p=0.83)。多中心数据异质性、跨模态数据精确对齐困难、高维特征冗余导致的过拟合风险、模型可解释性有限、缺乏前瞻性验证、监管审批路径不明确以及跨机构数据共享的伦理和隐私问题等均是阻碍临床转化的主要障碍。
未来发展趋势:目前多模态AI在HCC中的证据基础严重偏向东亚病毒性肝炎队列,尚无针对西方MASLD相关HCC人群的多模态建模研究。Transformer等创新架构利用自注意力机制可有效捕捉多模态数据间的非线性关系和层次依赖。跨模态自监督学习可利用大量未标记数据进行模型预训练,减少对人工标注的依赖。多时间点多模态数据的无缝整合和患者特异性肿瘤"数字孪生"模型的发展将成为精准化和个体化管理的关键策略。建立开源数据集、开发基准测试系统和制定行业标准是多模态技术大规模部署的基础。
结论
多模态技术整合影像、病理、分子和临床信息并通过人工智能进行深入分析,在推动HCC管理向更早检测、更高精度和个体化方向发展方面显示出巨大潜力。诊断方面可提高小病灶和非典型病灶的检出和鉴别诊断能力,并实现肿瘤分级和MVI等重要病理特征的无创术前评估。治疗决策方面可辅助患者获得最佳治疗方案,多模态影像融合和术中导航技术使手术和消融治疗更加精准。疗效评估和预后预测方面可进行早期治疗反应评估和准确的复发风险及生存结局分层。然而,目前大多数证据仍为回顾性研究,该领域仍处于快速探索阶段而非常规应用阶段。前瞻性多中心验证、标准化报告、校准评估、临床效用评价以及整合到真实临床工作流程中仍是广泛临床实施前的必要条件。短期内应聚焦于现有模型的前瞻性外部验证和标准化报告指南的遵循,长期则应向数字孪生模型、动态多模态监测和联邦学习方向推进,以实现个体化、适应性的管理。