《Computers》：From Manipulation to Antidote: Mapping the Computational Capabilities of AI-Generated Synthetic Media to Health-Related Applications and Downstream Benefits
编辑推荐：
AI生成的合成媒体正从数字操纵工具演变为解决数字医疗实施中长期存在的现实挑战的实用解药。然而，表征这些技术的计算能力、其应用以及下游的医疗相关获益仍然处于碎片化状态且缺乏充分整合。本系统综述识别了表征医疗领域AI生成合成媒体的计算能力，考察了其应用和获益，并开
AI生成的合成媒体正从数字操纵工具演变为解决数字医疗实施中长期存在的现实挑战的实用解药。然而，表征这些技术的计算能力、其应用以及下游的医疗相关获益仍然处于碎片化状态且缺乏充分整合。本系统综述识别了表征医疗领域AI生成合成媒体的计算能力，考察了其应用和获益，并开发了一个连接这些领域的整合框架。研究纳入了2021年至2026年5月31日期间发表的24项研究。使用混合方法评估工具（MMAT）评估了方法学质量，并通过主题分析综合了研究结果。综合分析揭示了一套整合的能力集合，涵盖逼真医学图像生成、临床图像和生理信号的模态特定合成、非图像合成健康数据创建、统计分布/时间模式和临床关系的保留、多样化样本生成、未记忆样本生成以及医学和视听内容的受控转换。以隐私为导向的合成和深度伪造检测作为支持隐私意识数据使用、临床验证和医疗安全的独立组件出现。这些已证实的能力与经过经验评估的应用相连，包括数据增强、AI模型训练、诊断模型开发、以隐私为导向的健康数据共享、医学教育、面向患者的沟通、治疗支持、临床安全、健康系统分析和规划。由此产生的计算能力-应用-获益（CAB）框架将合成媒体概念化为一种证据分级路径，区分了已证实的能力、已评估的医疗应用以及需要进一步验证的已上报、潜在或指示性的下游获益。因此，AI生成的合成媒体代表了一种新兴的计算基础设施，具有支持更安全、具备隐私意识、适应性强且数据密集型医疗保健的潜力。
1. 引言
AI生成的合成媒体通过支持生成、操纵和认证临床信息的逼真数字表示，正日益重塑数字医疗。本研究中，该术语指代算法生成或操纵的图像、语音、视频、视听内容、虚拟人以及深度伪造和虚拟肖像等人类表征工件。在医疗领域，这些媒体涵盖合成医学图像、生理信号、电子健康记录（EHR）衍生的表格临床记录、视听虚拟化身等，可支持研究、教育、临床实践和医疗创新。合成数据提供了这些媒体的结构化维度，旨在保持真实数据的分析效用、变量依赖性、结构关系和分布模式。促进这些技术日益普及的原因在于克服传统健康数据长期挑战的需求。高质量临床数据的可用性和可及性常受到限制，收集成本高、标注耗时，并受隐私、伦理和法律约束。在罕见病、专业医学影像等领域，获取具代表性数据尤为困难。AI系统面临数据稀缺、类不平衡和隐私问题，传统数据匿名化可能降低数据价值且仍有重标识风险。因此，生成了科学有效且保护隐私的合成数据的计算方法得到发展。在数据生成方面，生成对抗网络（GAN）、扩散模型等工具学习源数据并产生临床有意义的内容。尽管该领域兴趣浓厚，但现有综述文献仍显碎片化，对计算能力如何促成特定医疗应用及获益缺乏深入探讨，且未将图像、非图像及视听合成媒体整合到统一框架中。
贡献
本研究做出了两项主要贡献。首先，系统综合了AI生成合成媒体在各个医疗领域的计算能力，而非仅关注特定技术或临床用例。其次，开发了一个将计算能力与医疗相关用例整合的新框架，以展示合成媒体如何传递价值。
2. 材料与方法
本研究采用系统综述设计，并遵循PRISMA 2020指南以确保方法学的严谨性和可重复性。过程包括制定研究问题、系统文献检索、定义资格标准、质量评估、数据提取、主题分析和构建框架。
2.1. 研究问题制定
采用人群-兴趣现象-背景（PICo）模型指导研究问题的制定。研究问题设定为：AI生成合成媒体的计算能力如何在不同医疗背景下支持健康相关应用和下游获益？该问题指导了检索策略、纳入排除标准、数据提取和框架开发。
2.2. 文献检索方法
检索涵盖Google Scholar、Web of Science、Scopus和IEEE Xplore数据库，检索期限截至2026年5月31日。检索策略结合了数据库特定的受控词汇与自由文本关键词，如“synthetic media”、“synthetic data”、“deepfake”、“generative AI”及其与健康应用相关词汇的组合。布尔逻辑运算符OR和AND被用于连接同一概念组内的相关术语以及不同概念组之间。
2.3. 研究资格与选择程序
文献选择遵循PRISMA 2020指南，包括标题和摘要筛选及全文评估。纳入标准为在健康背景下检查AI生成合成媒体并报告其计算能力、应用和获益的实证研究；排除社论、评论、非健康相关研究等。两名评审员独立筛选并达成共识。
2.4. 质量评估
使用混合方法评估工具（MMAT）2018版评估方法学质量。评估考虑研究问题清晰度、数据来源适当性、方法有效性等。使用“是”、“否”和“无法确定”进行评分，而非数值打分。若所有标准评为“是”，或仅有不影响整体方法学对齐的单个“无法确定”，则视为高质量；若存在两个及以上“无法确定”或实质性不确定性，则评为中等质量。两名评估者独立完成并解决分歧。
2.5. 数据提取
开发了一个结构化数据提取矩阵以捕获相关信息，包括作者、出版年份、研究设计、数据特征和AI计算能力等。提取的证据被组织成主题类别。
2.6. 数据综合与框架开发
采用反思性主题分析原则综合研究结果，包括熟悉数据、编码、识别主题和分类。主题被分为基本主题、组织主题和宏观主题。基于主题分析结果，归纳开发了一个框架。主题代码被聚类为三个分析水平：第一水平为计算能力，第二水平为健康相关应用，第三水平为下游获益。根据证据强度映射这些水平间的关系，将证据分为直接证据、评估应用证据和推断/依赖验证的获益证据。
3. 结果
3.1. 研究识别与选择
数据库检索共找到2214条记录，去重后剩余1778条。经标题摘要筛选排除1512条后，对266篇全文进行评估。最终有24篇实证研究被纳入综合分析。
3.2. 纳入研究的特征
综述包含24项2021年至2026年间发表的实证研究。研究设计多为方法学、技术、计算或实验设计（n=17, 70.8%），其余为回顾性EHR研究、深度伪造检测研究及定性研究。地理分布涵盖北美、欧洲、亚洲和非洲。医学影像是最常见的数据源（n=14, 58.3%），其次是EHR和表格临床数据（n=7, 29.2%）。GAN架构及其变体是主导的计算方法（n=18, 75.0%），其他方法包括扩散或去噪扩散概率模型（DDPM）以及Transformer或基于检测的机器学习（ML）/深度学习（DL）方法。
3.3. 质量评估结果
大多数文章被评为高质量（n=20, 83.3%），表明研究目标、数据集、计算方法和报告结果之间高度对齐。4篇文章（16.7%）被评为中等质量，主要由于在代表性、报告细节或分析论证方面存在不确定性。
3.4. AI生成合成媒体生成中的计算能力
研究结果表明，AI生成的合成媒体具备先进的计算能力，可在多种数据模态下实现数据的创建、转换、验证和保护，如GAN、Wasserstein生成对抗网络（WGANs）、渐进式生成对抗网络（PGGANs）、深度卷积生成对抗网络（DCGANs）、扩散模型和基于Transformer的框架。
3.4.1. 逼真的合成医学图像生成
定义性的计算能力是生成与真实临床数据高度相似的医学图像。在眼科、肌肉骨骼等领域，生成架构产生具有强视觉真实性的视网膜眼底图像、前节光学相干断层扫描（OCT）图像、骨关节炎X线片等。合成输出保留了临床有意义的解剖和病理特征，在专家评估中难以与真实图像区分。高分辨率、特定领域的合成实现了详细图像生成。系统不仅能复制，还能产生多样性及临床合理的图像变化。
3.4.2. 模态特定的合成数据生成
针对特定临床模态生成合成数据的能力同样重要。在眼科中合成视网膜眼底图像和前节OCT图像；在放射学和MRI应用中合成骨关节炎X线片、牙科曲面断层影像、乳腺超声和乳房X线摄影感兴趣区（ROI）、肾脏计算机断层扫描（CT）图像及脑MRI扫描。这些输出保留了模态特定的临床细节，表明能力并非通用图像生产，而是学习了每个临床领域所需的解剖结构和疾病外观。
3.4.3. 合成非图像健康数据生成
该能力超越视觉图像，延伸至生理信号合成（如具有真实心脏形态并保留QT-RR协方差等生理关系的合成心电图（ECG））以及表格患者记录和EHR生成。生成模型创建合成肺癌记录、重症监护室（ICU）数据集、癌症登记数据等，代表混合连续和分类变量及纵向信息。这表明医疗合成媒体不限于视觉深度伪造，还包括可再现临床变量的结构化和纵向健康数据。
3.4.4. 分布与结构性保真度
合成数据集再现原始健康记录的统计行为并保持与真实数据分布的相似性，同时保留变量间的关系，包括相关性、时间模式、多变量依赖性及患者特征与结果间的临床联系。合成EHR保持了诊断、临床变量和患者亚组间的结构关系。因为有用的合成健康数据必须再现使临床数据具有预测和决策支持意义的关系，而非孤立的数值。
3.4.5. 多样性与新颖性
合成输出并非训练样本的简单副本，而是生成在临床上合理但与原图不同的新样本。这在明显区别于训练图像的合成医学图像及具有更广泛样本多样性的数据集中得到体现。在MRI合成中，广泛的临床合理扫描表明改善了模式覆盖。生成新颖样本数据的能力对于支持更广泛的患者变异性表示和降低直接复制可识别患者数据的风险至关重要。
3.4.6. 潜在操纵与媒体转换
图像到图像技术使在临床图像中添加、移除或改变病理成为可能，如在CT图像中注入或切除肿瘤。潜在空间操纵使解剖结构的渐进变化成为可能同时保持图像真实性。视听转换也作为相关能力出现，超逼真虚拟化身、面部替换等使合成媒体能修改交流内容。这些功能展示了媒体如何创建适应性材料，包括个性化面向患者的内容和控制测试环境。
3.5. AI生成合成媒体的健康相关应用
3.5.1. 用于AI模型训练的数据增强
最突出的应用是用于AI模型训练的数据增强。合成图像、ECG、影像组学特征和EHR被用于扩充有限数据集，解决 Minority class 欠代表和训练数据不足问题，从而支持更鲁棒的分类和预测模型。
3.5.2. 诊断模型开发
合成媒体通过提供生成数据集辅助诊断模型开发，用于训练分类器并评估多领域的诊断系统。如合成OCT图像辅助闭角检测，合成乳腺和牙科图像实现分类和定位。合成EHR支持预测模型开发，如癌症死亡率预测、罕见病建模等。
3.5.3. 保护隐私的数据使用
合成数据的使用减少了对可识别患者数据的依赖，提供了真实患者数据的人工但临床有效的替代品。这解决了患者隐私和数据使用限制问题，同时允许进行研究。合成数据提供了隐私保护和抗泄漏特性。
3.5.4. 深度伪造检测与临床安全
由于医学图像可能被篡改，开发针对篡改、GAN生成和扩散生成的医学图像（如扭曲的CT扫描）的新检测算法成为重要应用。识别操纵的医疗图像有助于防止欺诈和误诊，改善临床工作流程的安全性。
3.5.5. 教育、培训与沟通
合成媒体被用于创建逼真的合成图像以支持医学教育，使学生接触多样的解剖和疾病表现，特别是罕见病。合成沟通模态（如个性化虚拟化身）用于患者教育。在眼科教育中，使用合成图像训练的学习者取得了与真实图像相当的诊断性能。
3.5.6. 面向患者的治疗应用
涉及个性化虚拟化身和面部替换视频，用于帮助与儿童和认知脆弱患者的沟通和行为互动。在儿科牙科护理中，个性化合成视频内容与减少恐惧和焦虑相关，表明合成媒体可促进治疗互动和情感支持。
3.5.7. 健康系统分析与规划
合成EHR有利于多病共存聚类、患者分层和疾病风险谱识别，推动人群水平分析。合成数据支持死亡率建模、毒性预测和早期筛查规划。在减少对敏感真实记录依赖的同时，为医疗规划和决策制定做出贡献。
3.6. 将AI生成合成媒体计算能力映射到健康相关应用与下游获益的框架
计算能力-应用-获益（CAB）框架展示了合成媒体在不同证据层的解释。层1呈现了已证实的计算能力，包括逼真合成、结构和统计保真度保留、混合型EHR合成、受控转换和以隐私为导向的合成生成。验证和安全层将深度伪造检测与生成合成分离开来，检查真实性和控制错误信息。层2将这些能力映射到已评估的应用，如AI模型开发、诊断分析、隐私共享、医学教育等。层3将下游获益分类为已报告、潜在或指示性的，包括改善任务表现、生成训练数据、更好的分析效用等。层4将潜在的长期医疗和社会影响定位为依赖验证的结果。框架提供了验证标准，包括真实性、保真度、鲁棒性评估，并强调失败、偏差和隐私风险应反馈到验证和重新设计中。
4. 讨论
研究结果表明，AI驱动的合成媒体不再仅限于信息生成器，而成为生成、操纵、归档和验证健康数据的综合计算方法。其能力显示出合成媒体系统具备产生高逼真和结构保真临床信息的潜力，这与生成式AI当前趋势一致。合成媒体在保留相关解剖和统计特征的同时产生逼真图像和信号的能力，表征了DL模型学习和提取复杂模式的能力，从而能在数据稀缺和隐私受制的医疗环境中建模真实世界现象。然而，从治理角度强调，伴随生成技术开发深度伪造检测系统体现了技术的双重用途性质，平衡创新与维持信任和安全的机制是必要的。CAB框架将合成媒体定位为证据分级路径，强调其价值不仅取决于生成，还取决于通过任务效用和可信赖度的验证。
5. 优势与局限性
本综述的优势在于全面综合了计算能力和医疗应用两方面的实证证据，并涵盖了多个医疗部门。局限性在于研究设计、数据集和生成架构等证据存在显著异质性，且生成式AI快速演变可能使新架构和应用迅速超越当前证据库。
6. 结论
系统综述表明，AI生成合成媒体具有广泛的计算功能，包括图像合成、结构保真度保留、隐私保护合成和深度伪造检测。这些能力帮助媒体捕获关键解剖和统计特征，并在数据稀缺和AI需求上升的场景下展现出作为医疗创新推动者的潜力。本研究制定的框架阐明了计算能力如何转化为应用和获益，但强调持续验证和治理对其成功融入临床实践至关重要。
