《Multiple Sclerosis Journal》:Validation of generative artificial intelligence techniques for synthetic data generation in multiple sclerosis research: A comparison with real-world evidence from the Italian multiple sclerosis registry
编辑推荐:
摘要
背景: 使用生成式人工智能创建合成数据是增强真实世界证据的一种新兴策略。
目的: 评估人工智能生成的合成数据在复制意大利多发性硬化及相关疾病登记处(Italian Multiple Sclerosis and Related Disorders Regi
摘要
背景: 使用生成式人工智能创建合成数据是增强真实世界证据的一种新兴策略。
目的: 评估人工智能生成的合成数据在复制意大利多发性硬化及相关疾病登记处(Italian Multiple Sclerosis and Related Disorders Register,RISM)所收集数据方面的有效性,用于评估早期强化治疗(early intensive treatment,EIT)与升级治疗(escalation treatment,ESC)策略下进展独立于复发活动(progression independent of relapse activity,PIRA)风险。
方法: 研究人员在意大利多发性硬化及相关疾病登记处(RISM)的1666例患者亚队列上训练人工智能生成模型,生成包含4878例患者的合成数据集。研究人员应用了合成数据验证框架(Synthetic vAlidation FramEwork,SAFE)、临床合成保真度(Clinical Synthetic Fidelity,CSF)和最近邻距离比(Nearest Neighbor Distance Ratio,NNDR)。研究人员使用真实数据和合成数据对治疗策略进行比较,重点关注进展独立于复发活动(PIRA)风险。
结果: 合成数据展现出良好的保真度和隐私保护能力。升级治疗(ESC)与早期强化治疗(EIT)相比的治疗效应估计在真实数据集和合成数据集之间相似。Cox比例风险模型显示,合成数据保留了首次进展独立于复发活动(PIRA)事件风险的估计稳健性。放射学危险因素的相关性在真实数据集和合成数据集之间大体相似。
结论: 人工智能生成的合成数据可靠地复制了意大利多发性硬化及相关疾病登记处(RISM)数据的治疗效应结局,支持其在临床界定研究场景中的潜在应用价值。
论文解读:生成式人工智能合成数据在多发性硬化研究中的验证
一、研究背景与问题提出
多发性硬化(multiple sclerosis,MS)的疾病进程由神经炎症和神经退行性变共同界定。从疾病早期阶段直至进展全程,不可逆的神经功能损害既源于复发相关恶化(relapse-related worsening,RAW),也源于进展独立于复发活动(progression independent of relapse activity,PIRA)事件。近年来,PIRA逐渐被公认为残疾进展的首要驱动因素,理解疾病修饰治疗(disease-modifying therapies,DMTs)如何影响PIRA事件,对于阐明静默进展的复杂通路和优化MS治疗策略至关重要。来自大型MS登记处的真实世界证据(real-world evidence,RWE)近年来为疾病进展提供了重要洞见。然而,真实世界数据集常受缺失信息和数据不一致的困扰,且由于数据隐私问题,登记处与其他数据源之间的数据共享往往受到限制。生成式人工智能(generative artificial intelligence,AI)通过生成合成数据(synthetic data,SD)提供了一条有前景的解决路径,其通过训练学习真实源数据集的关键特征来生成新数据,从而规避上述部分挑战。AI驱动的SD在血液学、肿瘤学和神经病学等多个研究领域的应用已显示出令人鼓舞的结果,证明SD能够在保持对真实世界分布高保真度的同时改进研究方法,并可加速聚焦于个性化精准医学的研究。基于此,本研究旨在:(1)将创新的合成数据生成方法应用于意大利多发性硬化及相关疾病登记处(Italian Multiple Sclerosis and Related Disorders Register,RISM)收集的真实数据;(2)实施验证框架以评估合成数据的保真度和隐私可保护性;(3)评估AI生成的SD在复制和比较早期强化治疗(early intensive treatment,EIT)与升级治疗策略(escalation treatment strategy,ESC)下PIRA风险方面的有效性。
二、研究设计与方法概述
本研究基于RISM数据库提取的数据。研究纳入标准为:复发起病型MS患者、至少5年随访、起病后3年内初始DMT处方、以及治疗开始后至少三次扩展残疾状态量表(Expanded Disability Status Scale,EDSS)评估。数据提取于2023年3月执行。研究人员采用生成对抗网络(Generative Adversarial Networks,GAN)和表格生成预训练变换器(Tabular Generative Pretrained Transformer,T-GPT)作为生成模型,在具有完整MRI表格信息的患者亚队列(n=1666)上训练,以生成4878例MS患者的合成数据集。T-GPT因性能更优且适合临床数据性质而被选用。合成队列采用合成数据验证框架(Synthetic vAlidation FramEwork,SAFE)进行评估,涵盖统计保真度、临床效用和隐私可保护性。统计和临床保真度采用临床合成保真度(Clinical Synthetic Fidelity,CSF)评分衡量,最优评分被认为大于90%。隐私评估采用相同匹配份额(identical match share,IMS)、最近记录距离(distance to the closest record,DCR)和最近邻距离比(Nearest Neighbor Distance Ratio,NNDR)指标,NNDR最优范围为0.60–0.85。临床验证中,研究人员在真实和合成MS队列中复制了EIT与ESC的PIRA风险比较分析。EIT队列包括初始使用高效(high-efficacy,HE)-DMTs的患者;ESC组包括初始使用中效(moderate efficacy,ME)-DMTs并在至少1年ME-DMTs治疗后因治疗失败升级至HE-DMTs的患者。确认残疾累积(confirmed disability accrual,CDA)定义为从研究基线起确认6个月的残疾增加。PIRA作为主要结局,定义为CDA事件发生在复发发作后90天以上且复发发作前30天以上。研究人员使用Cox比例风险(proportional hazards,PH)模型评估EIT和ESC组中PIRA风险,模型纳入性别、首次DMT开始时的年龄和EDSS、从起病至首次DMT开始时间、DMT开始前2年复发次数、起病类型、T2病灶数、钆(gadolinium,GD)增强T1病灶存在与否以及治疗策略等协变量。此外,研究人员获得真实和合成队列中按治疗策略分层的PIRA时间Kaplan–Meier估计。分析使用R 4.2.3软件执行。
三、研究结果
基线特征与队列构成。 数据提取时RISM共有79,001例患者临床数据。应用纳入标准后,研究人员获得4878例复发型MS患者队列,其中914例接受EIT策略,3964例接受ESC策略。两组在多项基线特征上存在显著差异:EIT组首次DMT开始时年龄略大(30.85岁对29.70岁,p=0.0018),中位EDSS评分更高(2.5对1.5),基线病灶负荷显著更高(至少9个T2病灶比例21.44%对16.15%)。性别分布无显著差异。研究人员选取1666例具有非缺失MRI信息的患者亚队列用于训练T-GPT,生成4878例具有完整数据的合成数据集。
合成数据保真度与隐私评估。 SD与真实分布在年龄、性别分布、基线EDSS、基线MRI病灶负荷和首次PIRA事件时间等关键变量上表现出高度一致性。CSF评分为97%,确认高保真度。隐私得到保护,NNDR值为0.61,表明可识别患者数据泄露风险较低。Spearman/Pearson/Kendall相关矩阵显示,SD与真实数据中相关性的强度和方向非常相似,相关差异接近零。
Cox比例风险模型结果。 在真实队列和SD组中,DMT开始年龄均为PIRA风险因素(真实数据HR=1.02,95%CI=1.01–1.03,p<0.001;SD中HR=1.02,95%CI=1.01–1.02,p<0.001)。Cox模型显示HR估计大体相似,并保留了真实与合成队列之间的整体关联模式。Kaplan–Meier估计显示真实和合成队列中PIRA时间的时间模式相似。与ESC相比,EIT策略降低PIRA风险在真实队列中不显著(HR=0.88;95%CI=0.71–1.08,p=0.22),在SD中显著(0.86,95%CI=0.76–0.98,p=0.02)。SD中首次DMT开始时间较长与PIRA风险较高相关(HR=1.10,95%CI=1.04–1.17,p<0.001)。MRI变量对PIRA风险的影响发现显著结果:基线≥9个T2病灶患者PIRA风险显著更高(HR=1.88,95%CI=1.20–2.96,p=0.01),而GD增强T1病灶存在(HR=0.82,95%CI=0.73–0.91,p<0.001)是PIRA事件的保护因素。相反,MRI参数在真实队列组中不显著。
四、讨论与结论
研究结果支持AI生成的SD能够以高保真度(CSF=97%)和隐私保护(NNDR=0.61)复制RISM中收集的临床和MRI真实数据。治疗效应估计在真实和合成队列之间在量级上一致,HR分别为0.88和0.86。尽管仅在合成队列中达到统计学显著性,但相似效应估计表明关联方向和量级得到保留。在合成数据集中,Cox模型显示EIT策略显著降低PIRA风险,这与既往多项大型观察性RWE研究结果一致。本研究最重要的意义在于凸显了SD补充真实世界数据的潜力:AI生成的SD允许在合成队列中评估MRI衍生的残疾进展危险因素,而既往登记处研究常因MRI数据系统性采集缺乏而无法使用这些数据。研究还提出生成建模在神经系统疾病研究中一个有前景的应用方向——通过SD创建患者数字孪生,可实现临床医生的实时决策支持,在维护数据隐私的同时帮助个体化定制治疗策略。研究局限性包括:原始数据集中的微妙偏倚可能被延续;合成队列中观察到的更大统计精度可能部分反映有效样本量的增加;隐私仅使用基于距离的指标评估,未来将纳入对抗性隐私评估(包括成员推断攻击)。此外,真实与合成队列之间统计学显著性的差异应在考虑源样本和合成过程所有局限性的背景下进行解读。研究结论为:本研究中AI生成的SD可靠地再现了从大型真实世界MS登记处获得的PIRA治疗效应估计,并保留了源队列中若干MRI衍生的预后关联。合成队列可补充传统RWE,增强可重复性,并扩展MS中隐私保护研究的机遇。未来研究应探索SD在MS研究中更广泛的应用,包括多中心研究和监管决策中的潜在用途,并完善SD方法以最大化其影响。