《Diagnostics》:Generative AI, Health Misinformation, and Medical Deepfakes: Implications for Diagnostic Safety and Clinical Practice—A Narrative Review
生成式人工智能(AI)能够以文本、合成图像、克隆语音和深度伪造视频等形式快速生成具有说服力的健康信息,亦可用于制造虚构的专业身份。本叙述性综述阐述合成性主张、伪造证据与模拟身份如何被用于掩盖误导性健康信息并赋予其真实性的外观,尤其关注诊断安全与临床实践。经Web of Science与Scopus检索所得文献按文本、图像、音频、视频及多模态格式进行综合;现有证据表明,生成式AI可生成高度可信但内容不准确的健康信息。信息来源权威性、信息框架构建方式及专业身份线索影响信任与核验行为;特定疾病评估显示,较高的平均准确率可与具有临床重要性的遗漏、漏诊转诊、幻觉性发现及校准不良并存。在医学影像领域,错误既可能源于解读不当,亦可能源于对诊断证据本身的操纵。检测、循证核验、来源溯源(provenance)、素养干预(literacy interventions)与治理提供互补性保障措施,但真实世界与纵向证据仍然有限。因此,临床评估除总体准确率外,还应考虑任务特异性表现、来源真实性、人工监督以及单项错误所导致的后果。
## 引言
社交媒体是健康信息创建、分享与讨论的主要场域。健康专业人员、患者、内容创作者与商业行为体在同一平台上传播多样化的信息与体验。该环境在促进可靠健康信息获取的同时,也使缺乏科学依据的主张获得可见度。关于社交媒体健康错误信息(health misinformation)的研究指出,问题领域随平台与所考察内容而变化,涵盖疫苗、疾病、治疗及健康产品等主题。生成式AI使得快速生成各类虚假健康信息成为可能,并可针对特定用户群体进行定制。Menz等证实,利用大语言模型(LLM)与视觉生成工具可生成虚假的患者中心与临床医生中心叙事以及具有科学外观的来源等健康虚假信息(disinformation)材料。然而,生成内容并不等同于研究其传播影响。Spitale等的实验使用推文格式的健康信息发现,在其实验条件下,参与者无法判定所传达的是AI生成还是人类生成的虚假信息;此外,AI生成的虚假信息比人类生成的虚假信息更具说服力。因此,准确内容与健康错误信息的区分、信息来源身份以及信息的感知可信度必须分别予以评估。
在健康传播中,提出主张者的身份为其感知可信度增添了进一步维度。Xie与Li分析了AI生成的健康新闻,发现信息来源、信息以积极或消极情绪方式呈现以及传播渠道均影响错误信息的识别能力。一篇关于"医生深度伪造(doctor deepfakes)"的评论文章描述了医生身份当前如何被滥用以传播错误信息。因此,本文分析范围从单一虚假健康主张扩展至主张的作者及其支撑证据。需注意,准确性评估与AI检测是两项不同任务,包含文本与图像健康内容的MM-Health数据集亦反映了这一点。网络上传播的误导性健康信息可影响疾病预防与治疗决策。关于网络误导性健康信息影响的研究已有开展,包括Loomba等发表的随机研究,其显示接触关于COVID-19疫苗的网络错误信息可降低接种意愿。然而,该发现并不能确立AI生成的错误信息(包括深度伪造)是否具有同等量级的影响。关键在于区分网络上传播的信息、被读者相信的信息、被读者分享的信息、读者的疾病预防与治疗意向、读者的健康信息相关行为、临床伤害等不同层面。Saeidnia等综述了AI生成健康错误信息的生产与传播及潜在应对措施。
本综述从诊断安全视角与临床影响出发进行讨论,探讨合成生成的健康错误信息、伪造的临床试验证据、以假冒医生与健康专家专业身份传播的健康错误信息以及伪造的健康专业人员人工权威之间的相互关系。本综述识别出三条相互关联的风险路径:由AI有意创建的健康错误信息;患者与医疗专业人员用于决策的AI模型产生的非预期错误;为诊断目的而合成创建的诊断证据。五个研究问题指导本综述对文本、图像、音频与视频格式的健康错误信息、虚假信息与深度伪造的考察:RQ1:生成式AI如何改变为社交媒体生产误导性健康主张、支撑证据与来源身份的方式?RQ2:来源身份、专业线索、信息格式与平台情境如何影响可信度、说服力、核验与分享?RQ3:有何证据支持接触此类内容及使用生成式AI与健康相关信念、诊断决策、行为及临床伤害之间的关系?RQ4:检测、核验、传播干预与治理方法的有效性与局限性如何?RQ5:生成式AI系统与合成医学内容可通过哪些错误路径影响诊断安全,临床验证这些风险应采用何种标准?
## 方法
### 综述设计
本研究设计为叙述性综述(narrative review),探讨社交媒体与健康传播情境下AI生成的健康错误信息、虚假信息与深度伪造内容。本综述考察AI生成健康错误信息从合成性主张向伪造证据、合成患者叙事及医疗专业人员身份冒充的演变,旨在将该类内容的生产方式与可信度、说服力、专家权威及健康相关结局相联系。在方法学构建中,采用SANRA关于目标阐述、文献检索界定、适当引用与科学推理的标准作为指导。
### 文献回顾与参考文献管理
文献回顾在Web of Science核心合集与Scopus数据库中进行,采用针对综述主题结构定制的互补性检索。初始检索之后,围绕合成媒体与身份冒充、社交媒体与健康传播以及检测、干预与治理开展补充检索。健康相关术语与生成式人工智能、大语言模型、错误信息、虚假信息、幻觉(hallucinations)、深度伪造及合成媒体等概念组合。在特定疾病与临床聚焦的补充检索中,亦使用诊断安全、临床安全、诊断错误、患者安全、医学影像及合成医学图像等术语。依据检索重点,加入社交媒体平台、核验、标记、错误信息纠正与内容审核等相关术语。就本综述目的而言,所检索文献以叙述性方式加以讨论,并纳入单项研究的方法学细节、临床相关性及发现价值。研究依据综述问题加以选择,包括实证研究、方法学调查与学术性综述。证据依据研究设计、临床情境及所报告结果进行评估,并区分经实验证实的发现与其在临床环境中应用的潜力。由于本综述具有探索性与跨学科性质,证据综合采取对所检索全部证据的批判性整合方式,而非完整的系统概览或定量荟萃分析。
### 范围与分析框架
本综述考察AI如何被用于创建误导性健康主张、伪造证据与合成身份,及其对健康传播的影响与缓解途径。仅凭内容源自AI并不能确立其为错误信息;虚假信息的归类需要有意欺骗的证据。作为教育模拟、匿名化数据或增强数据集一部分呈现的材料,不因其合成性质而被视为错误信息;材料还必须在特定情境中准确且呈现得当。研究按内容模态(文本、图像、音频、视频或多模态)、功能(生产、传播、感知、检测、干预或治理)、错误信息类型、健康领域及研究设计加以考察。社交媒体平台、目标受众、被冒充身份及所测量结局是补充解释健康传播与临床实践情境下发现的维度。特定疾病的临床研究亦从诊断任务、关键错误类型、转诊安全、临床验证及潜在患者安全影响方面予以评估。分析过程中,有意的合成虚假信息、非预期模型错误以及合成或被操纵的诊断证据被视为不同的风险路径。就本综合而言,生产能力、传播、感知可信度、行为改变与临床伤害被视为不同结局。在综述某一阶段发现的证据并不必然意味着同一证据会在后续阶段得到体现。各类AI系统的技术性能结果、实验发现与概念性讨论不被视为等同。所审查文献中识别的空白并不必然表明相关主题缺乏研究。此处报告的实验研究确立了受控条件下的效应,各类观察性证据主要提供关联性,个案报告描述孤立实例。尽管这些不同类型的证据指出了健康传播与诊断实践中的若干脆弱性,但确立AI生成错误信息(包括医疗深度伪造)与持续行为改变及临床损害之间联系的证据仍显著匮乏。
## 概念边界
对于网络生成的健康内容,需对事实准确性、生成方法、欺骗意图与网络来源分别评估。健康错误信息、健康虚假信息、健康相关AI幻觉、合成健康相关网络媒体及健康相关深度伪造等术语描述的是略有不同的维度,故不应互换使用。健康错误信息与健康虚假信息主要区别在于欺骗意图。健康相关AI幻觉涉及模型生成的无支撑内容。网络合成医学证据并非真实临床材料。医疗深度伪造可用于伪造医疗专业人员身份或创建完全虚构的网络临床场景。这些区分对于健康相关伤害的诊断标准以及患者信任与网络健康信息可验证性问题均具有重要意义。
### 健康错误信息
健康错误信息是指依据当时可获得的最佳科学证据评估为不正确或误导性的健康内容。该评估须考虑信息产生的时间与情境。科学不确定性、专家间合理意见分歧及未经证实的声明,不应与已被直接证明为虚假的信息归为同一类别。该错误信息定义指向信息主张的内容,并不将欺骗意图归因于主张的创建者或传播者。错误信息包括相信信息准确而予以分享的用户所传播的错误健康信息建议(无论其是否有缺陷或其他方面不正确)。信息是否不准确与分享者是否有欺骗意图,是完全独立的两件事。
### 健康虚假信息
健康虚假信息是为欺骗受众而故意创建或分享的虚假或误导性健康内容。意图将虚假信息与错误信息区分开来。故意创建欺骗性内容者的动机可能与随后未识别其虚假性而再传播的用户的动机不同。不准确健康帖子不应仅因其广泛传播或具有商业动机而被归类为虚假信息。因此,意图应结合内容的创建与传播方式加以评估。
### 幻觉与捏造
当生成模型产生与其输入、所引用来源或可验证信息不一致的内容时,即发生幻觉。该问题在健康情境中亦可表现为生成的文本以及图像与相应文本之间的不一致。例如,模型报告相应图像中并不存在的临床发现,即表现为内容—输出不匹配(content-output mismatch)。本综述中,捏造(fabrication)指创建并不存在的来源、数据、文件或证言。幻觉强调错误的模型输出,而捏造特指创建不存在的证据要素。此类输出并不意味着模型具有类人欺骗意图;但故意将捏造输出呈现为真实证据可能构成虚假信息。
### 合成媒体
合成媒体包括由算法创建或实质性修改的文本、图像、音频、视频及多模态材料。美国国家标准与技术研究院(NIST)将合成内容视为广泛的技术类别,并强调其风险取决于创建与使用的情境。在患者模拟中使用AI生成内容,与将伪造的患者治疗经历叙述呈现为真实,二者存在差异。此处主要关切并非内容使用合成信息创建,而是其以误导或不诚实方式呈现。
### 深度伪造与合成权威
深度伪造利用深度学习创建或篡改内容,以逼真再现个人的外貌、声音或行为。将某人描绘为说过其未曾说过的话或实施其未曾实施的行为,是该技术的主要用途之一。本综述区分对真实临床医生的冒充与将虚构个体呈现为医疗专业人员。前者挪用既有专业权威,后者则建构人工的专业性来源。本研究使用"合成权威(synthetic authority)"一词描述通过这些机制产生的表观可信度。因此,分析不仅考虑健康主张的准确性,还考虑来源身份、所归属的专业性以及所呈现经历的真实性。诊断安全考察AI生成信息或合成内容是否可误导诊断推理、延误适当的评估或转诊、产生具有临床重要性的假阳性或假阴性解读,或损害诊断证据的完整性。因此区分三条风险路径:有意的合成虚假信息、非预期模型错误以及合成或被操纵的诊断证据。尽管这些路径在目的与机制上有所不同,但均可干扰诊断过程,因而可在共同的安全框架内加以评估。这些机制在欺骗对象及对诊断安全的影响上存在差异。AI生成的错误信息关乎健康相关主张的事实准确性,而被操纵的诊断证据损害临床信息(包括医学图像与报告)的真实性或完整性。通过合成身份进行冒充则以伪造或挪用专业身份与权威的方式歪曲信息来源。相应地,其评估分别需要核验内容准确性、证据完整性与来源真实性(表1)。这些机制可能共存,但不应被视为可互换。
## 从合成性主张到合成临床证据:AI驱动健康错误信息的转变
### 从人类生成到AI辅助的内容生产
生成式AI可使误导性健康内容适配不同问题与受众,并对既有主张进行改写。在此过程中,人类行为者决定目的与方向,而模型可承担信息构建任务。因此,这一转变与其说是人类被完全移出过程,不如说是内容生产特定阶段的自动化。Modi等评估了五个被故意指示提供误导性健康答案的大语言模型;100条回答中有88条包含虚假信息。该发现表明,除生成单条错误信息外,还可创建能够对各种健康相关问题提供误导性答案的交互式系统。然而,该结果限于研究所用模型版本与特定提示条件,并不代表正常使用中回答的错误率。
### 规模、速度与自动化
Menz等在关于疫苗与电子烟内容的研究中展示了虚假信息生产的速度。研究人员使用公开可用的语言模型在65分钟内生成102篇虚假信息文章,总字数超过17,000词;使用额外生成工具在不到两分钟内生成20张逼真图像。这些结果表明,在研究条件下可在短时间内准备大量文本与配套视觉材料。然而,内容已生成并不意味着其已在社交媒体上传播或改变了用户行为。生成式AI模型的生产能力不仅取决于所选模型,还取决于输入提示的特征。Vinay等分析了19,800条健康与科学相关主题的社交媒体风格文本,发现输入提示的情绪基调影响模型生成错误信息的出现频率,因此生成模型的能力不能表述为同等适用于所有模型与用例的单一特征,而须考虑模型版本、AI接口、提示格式与评估时间。
### 个性化与说服性语言
生成模型可使用针对不同社会群体定制的叙事来呈现同一虚假健康主张。在Menz等的重复横断面评估中,生成了针对不同人口群体的文本,包含看似来自科学来源的引用以及伪造的患者或临床医生证言。此处的关键发现是针对目标群体生成信息的能力。然而,证明基于个体特征的个性化可增加说服力,需要单独测量这些信息对接收者的影响。人类撰写与AI生成信息的比较亦显示受众如何评判所生成内容。在Spitale等涉及697名参与者的预注册研究中,GPT-3生成的虚假推文相较人类用户撰写的虚假推文更常被评定为真实;参与者亦难以辨别内容由人类还是AI生成。该发现表明,在所考察的短文本情境中,仅凭语言特征无法可靠推断内容的来源与准确性;但它并不支持AI在所有健康主题或传播情境中更具说服力的结论。综合而言,这些研究描述了误导性健康信息在数量、多样性、受众定位与交互性方面的变化。下一步则是合成生成传达这些信息的证据、个体与专业性指标的能力。
## 合成证据、身份与专业权威
AI驱动健康错误信息的演变日益明显,不仅信息内容,而且支撑信息的证据与传达信息者的身份均可被伪造。Malko?的概念框架将通过医学术语与伪造来源创造的可信度外观,与医生面孔和声音所中介的权威转移相联系。本综述中,"从合成性主张到合成临床医生"描述的是共存的欺骗形式,而非必然的历史序列。图1展示了这些形式如何跨越三条风险路径产生并汇聚于表观临床可信度。
### 文本错误信息与大语言模型幻觉
文本生成的根本问题在于,虚假健康主张可被呈现为似乎具有科学依据。在Linardon等使用GPT-4o生成的六篇心理健康主题综述中,176条引用中有35条完全捏造;在141条对应实际出版物的引用中,64条包含书目错误。因此,引用来源本身并不保证准确性。但须区分书目错误与捏造不存在的研究:前者削弱来源可追溯性,后者则为实际不存在的主张增添科学依据。
### 合成图像与伪造视觉证据
评估合成图像时,须同时考虑其来源与使用情境。用于解释目的的医学插图与作为真实患者或治疗结果记录呈现的伪造图像,含义并不相同。在后一种情况下,图像充当支撑主张的伪造证据。Zhang等的MM-Health数据集将文本—图像内容的可靠性及内容由人类还是人工智能生成定义为独立的评估任务。因此,评估既需确定图像是否为合成,也需确定其是否支撑同时呈现的健康主张。
### AI生成健康视频
健康视频将主张与可见的讲话者及场景相结合。在Lee与Hameleers的癌症预防实验中,在校正既有错误信息后,深度伪造组表现出比文本虚假信息组更高水平的错误信息。然而,在不使用控制变量的分析中,该差异未保持统计学显著性;两组在核验信息意向上未发现总体差异。研究发现表明,视频效应不能仅归结为其逼真性,还须考虑评估条件。
### 语音克隆与合成语音
语音克隆的重要意义在于可制造信息来自特定个人的印象。可辨识的声音本身并不证明该言语确实由该人说出或认可。语音克隆在健康传播中亦有合法应用。Sun等比较了传统患者教育与使用克隆医生声音或患者自身克隆声音的方法。该研究表明语音克隆可用于教育,但并未测量其对相信或分享欺骗性录音的影响。因此,将这一教育研究的发现直接套用于虚假信息的说服力并不恰当。
### 深度伪造医生与医疗专业人员
医生深度伪造为健康主张附加表观专业可信度。Stokel-Walker发表于BMJ的文章描述了社交媒体健康骗局中对医生的冒充,Athni则讨论了此种欺骗的不同形式。这些出版物有助于记录该现象,但不应被视为患病率研究。冒充现有医生与虚构健康专业人员涉及不同的表观权威来源:前者利用既有专业可信度,后者则从一开始即建立专业性的印象。本综述中,合成权威指这些形式为健康主张提供的表观专业基础。该用法与Malko?关于权威转移的论述相关。
### 合成患者与患者证言
合成患者证言以亲身经历为伪装呈现健康主张。在Menz等的研究中,针对生成虚假信息的提示创建了伪造的患者与临床医生证言。因此,主张不仅可作为科学来源呈现,还可作为个人经历呈现。然而,此种生产能力并不表明用户的治疗偏好已发生改变。此处"合成患者"指呈现为真人经历的伪造身份或叙事。用于教育目的的模拟患者与研究中所用的合成患者数据不在此范围内。文本证言的生产亦不能作为视听患者深度伪造患病率的证据。
### 多模态健康深度伪造
在多模态内容中,文本、图像与音频构成同一健康叙事的不同组成部分。MM-Health将文本与图像结合处理,而SynthMed提供了通过视频、音频与文本评估健康传播中深度伪造的生产与检测框架。这些研究有助于对不同内容格式的联合分析,但并不直接解释用户的相信程度或健康行为。在本综合中,多模态欺骗将伪造主张与伪造证据及身份相结合。评估社交媒体上遇到的此类内容,不仅应涵盖陈述的准确性,还应涵盖其中出现者的身份、所归属的专业性以及所呈现经历的真实性。相关研究提供的证据及其解释局限性在表2中予以比较。
### 社交媒体上已记录的使用案例
已记录的社交媒体案例既包括对真实专家的冒充,也包括专业资质无法核实的虚构人物。在这些内容中,健康建议借助可辨识的面孔、克隆的声音、医生外观或伪造的专家背书呈现。表3比较了选自已发表调查性新闻、事实核查与技术分析报告的案例;为实验目的创建的内容未纳入该表。这些案例需要两项独立核查:健康主张是否有科学支撑,以及其是否确实来自被认定为来源的个人。证明专家被冒充本身并不证明视频中每一医学陈述均为虚假;即便包含准确信息的信息,亦可因虚假专家的背书而具有误导性。此外,所选案例与活动分析不适合用于比较跨平台的患病率。
## 疾病特异性诊断脆弱性与临床意义
总体准确率对生成式AI在医疗保健中的安全性而言是不完整的度量。同一错误依临床情境不同可导致不同结局。在低风险患者教育问题中遗漏信息影响可能有限,但在疑似恶性肿瘤病例中未转诊患者进行专业评估、在放射学图像中生成并不存在的发现,或无法区分真实临床图像与合成内容,则对患者安全构成更高风险。AI生成健康信息的诊断影响可能差异很大,须依据多项标准评估,包括疾病严重程度、时间压力、假阴性与假阳性的潜在后果、数据类型以及AI输出在临床决策过程中产生的节点。生成式AI模型生成健康信息的表现在不同疾病领域间差异巨大。精心界定的传播任务可能受益于生成模型,而通用模型的独立诊断使用易出现错误、遗漏与校准不良。因此,与其询问大语言模型(LLM)用于医疗保健的准确度如何,更有意义的问题是哪种模型可用于哪项临床任务、在何种监督水平下以及伴随何种错误。现有证据在上一节所述的三条风险路径内加以评估。非预期模型错误路径描述临床AI对患者或临床医生查询所给出的不正确、不完整或过于乐观的回答。合成诊断证据路径描述深度伪造及其他合成医学图像。有意合成虚假信息路径描述为影响临床决策而故意以误导方式创建的健康内容。三条风险路径可在不同阶段影响临床诊疗。首先,故意误导的健康信息可影响患者对自身症状的感知并触发就医行为。其次,健康AI提供的不正确或不完整信息可对分诊过程、转诊决策及诊断检测结果解读产生影响。在临床工作流程中,合成医学证据引入了关于用于诊断的信息真实性的额外关切。这些脆弱性得到以下研究的支持:记录肿瘤科漏转诊的研究、记录放射学相关回答中具临床意义错误信息的研究,以及记录区分真实与合成X线片困难的研究。然而,这些发现主要反映受控评估,而非常规临床实践中已证实的患者伤害。AI生成的威胁在作用机制与进入临床诊断工作流程的切入点方面存在差异。为突出这些威胁在临床环境中诊断决策过程中的临床意义,图2展示了四种不同类型的威胁(不准确的AI生成建议、被操纵的诊断证据、专业身份盗用与虚假信息)及其各自的进入点以及在临床诊断工作流程中的检测与缓解。
### 肿瘤学:从错误信息到延迟评估
肿瘤学是AI诱发信息错误的临床影响特别高的领域之一。此处风险并不限于错误的治疗建议。低估恶性肿瘤征象、忽视转诊必要性、误读病理或影像报告,以及患者脱离临床医生独立使用AI信息,均可影响诊断过程。Kollayan与Cebeci通过在七天内反复向Gemini与Grok模型输入20个涉及疑似口腔癌的标准患者场景,评估了共280条回答。总体转诊准确率Gemini为90.0%,Grok为92.1%。然而,Gemini在两个涉及疑似恶性肿瘤的高风险场景中未建议专业评估。即使总体表现较高,个别回答仍可能包含具有临床后果的错误,尤其是在怀疑恶性肿瘤时。少数高风险假阴性或漏转诊建议无法被大量正确回答在临床上"抵消"。因此,在肿瘤学等高风险领域,模型评估不仅须基于总体准确率,还须基于警示性发现的识别、适当转诊、虚假 reassurance 及关键错误率。患者使用模式增添了另一重考量。一项对400名癌症患者及其家属的横断面研究发现,其中24%使用生成式AI获取癌症相关信息;在使用AI者中,69%未向医生披露其使用情况。有趣的是,研究中所有参与者中有73%愿意在医生监督及其验证下使用AI工具。患者在临床环境之外对AI的"沉默使用"可能影响其对诊断与治疗的认知。Fereydooni等的工作展示了有效应用GPT-4-turbo为患者简化前列腺癌病理报告阅读。结构化提示与经验证的模板在测试条件下显著降低了文本复杂性,同时保持了临床准确性。该发现表明,开放式诊断使用不应与受控且界定明确的传播任务归入同一风险类别。
### 呼吸系统疾病:准确性与临床充分性之间的差异
患者可能使用LLM解读其症状。慢性咳嗽说明了该任务的困难,因其可能病因从良性疾病到恶性肿瘤及其他严重肺部疾病不等。Wu等以欧洲呼吸学会指南为参考,使用25个关于慢性咳嗽的常见问题评估了六个生成式AI聊天机器人。虽然所有受测模型的平均准确率为80.39%,但在许多情况下重要信息缺失。此外,无一受测模型达到指南推荐的六年级阅读水平。从诊断安全角度看,"正确"与"充分"的聊天机器人回答并不相同。聊天机器人回答可能大体准确,但若缺失重要警示征象、进一步评估要求、转诊标准或基于指南的警告,仍可能构成临床风险。因此,评估疾病特异性AI系统时,除事实准确性外,还须报告完整性、指南一致性与转诊安全性。
### 皮肤病学:疾病鉴别与模型异质性的挑战
生成式AI在皮肤病学中正被用于患者教育与图像评估。然而,模型在回答一般皮肤病学问题上的成功并不意味着其能可靠区分临床相似的疾病。Iritas评估了ChatGPT-4.0、Gemini 1.5 Flash与DeepSeek R1对12个关于雄激素性脱发的常见患者问题的回答。ChatGPT与Gemini回答了所有问题,且其大多数回答被评为仅需极小修正。相比之下,DeepSeek R1仅回答五个问题,并生成不正确内容,尤其在雄激素性脱发与瘢痕性脱发的区分方面。结果表明,表现取决于所用模型与任务的诊断要求。传达一般疾病知识与对表型相似疾病进行鉴别诊断涉及不同的认知要求。因此,在皮肤病学研究中,除总体准确率外,还应考察鉴别诊断能力、警示征象识别及转诊专业评估。
### 肌肉骨骼系统:通用多模态模型的诊断局限性
关于青少年特发性脊柱侧凸(adolescent idiopathic scoliosis, AIS)的研究说明了使用通用多模态模型进行诊断的风险。在涉及97名青少年的一项前瞻性诊断准确性研究中,Ayd?n等使用标准临床照片评估ChatGPT-4o与Claude 2,并将结果与放射学参考测量进行比较。ChatGPT将所有非AIS病例误分类,特异性为0%;Claude 2的假阳性率为78.3%。据报道,ChatGPT平均高估胸椎弯曲度10.74°,测量误差显著超过临床容许限度。处理临床图像或照片本身并不构成通用多模态模型能可靠解读其用于诊断的证据。尤其在消费者直接使用中,假阳性结果可导致不必要的焦虑与医疗利用率增加,而假阴性或不正确的严重程度评估可能延误必要的专科转诊。因此,临床使用前须基于参考标准进行任务特异性验证。
### 放射学:从幻觉到合成诊断证据
放射学是生成式AI所生成错误信息可在两个不同层面出现的关键领域。在第一层面,模型误读真实图像或生成图像中并不存在的发现。在第二层面,图像本身可能是合成生成的。因此,问题超出临床解读的准确性,延伸至诊断证据的真实性。Huppertz等在206张临床图像(包括X线片、CT扫描、MRI与血管造影)上评估GPT-4V。当以初始诊断必须正确为标准评估时,无情境提供图像时准确率仅为8.3%,提供临床情境时为29.1%;当以正确诊断必须出现在鉴别诊断列表中为标准时,准确率升至63.6%。然而,模型在412条回答中有258次生成图像中并不存在的发现。类似地,Brin等考察了GPT-4V在230张来自急诊科的放射学图像上的表现。模型能够以高准确率识别成像模态,但正确识别病理的比率仅为35.2%;在超声、CT与X线摄影之间的表现亦差异显著。该发现表明,正确识别模态或解剖区域并不保证对病理的可靠解读。在患者—放射科医生沟通中亦出现另一独立的安全问题。Shin等评估了三个LLM针对源自200份MIMIC-IV放射学报告的2000个模拟患者问题所生成的共12,000条回答。术语问题的准确率达到98.1%,但关于诊断信心的评论降至82.3%。更重要的是,131条包含具临床意义错误信息的回答中,大多数由模型以高度自信呈现。因此,除错误可能性外,信心—准确性校准已成为关乎患者安全的独立问题。放射学中更大的风险在于合成图像本身可能看似真实诊断证据。在Tordjman等涉及17名放射科医生的多中心研究中,将真实X线片与GPT-4o及RoentGen生成的合成X线片进行比较。放射科医生区分真实与合成图像的准确率在GPT-4o数据集为75%,RoentGen数据集为70%;受测LLM无一能正确识别所有合成X线片。该研究结果进一步突出了幻觉与医疗深度伪造创建之间的关键区别。在前一种情况下,AI误读真实图像;在后一种情况下,呈现给AI评估的诊断证据实际上是人工的。因此,可靠的AI辅助放射学不仅需要准确解读,还需核验输入的真实性。
### 跨疾病的诊断安全原则
在各疾病领域关于生成式AI用于诊断决策支持的临床验证研究中,获得了一项重要教训:平均准确率不能准确反映临床风险。尽管口腔癌研究报告Gemini转诊准确率为90.0%、Grok为92.1%,但高风险场景中仍出现转诊不足。除病例过度转诊外,正确但不完整的回答亦构成重大安全风险。尽管慢性咳嗽问题回答的平均准确率为80.39%,但具有临床重要性的信息经常被遗漏。表现应针对不同复杂度的任务分别评估,包括解释医学术语、准备患者教育材料、简化疾病描述、生成鉴别诊断及解读医学图像。放射学研究中对模态识别与病理识别的区分相当明确。对生成式AI的单一评估很少仅为正面或负面。受控提示或经验证模板用于生成前列腺癌病理报告可产生积极临床效果,而通用多模态模型在应用于解读类型迥异的放射学图像时可产生重大幻觉与诊断错误。未来研究应至少报告诊断性生成式AI研究的五项不同结局,包括AI生成诊断报告的总体准确率、AI生成报告中关键部分的错误率、具临床重要性遗漏的比率、适当专业转诊率,以及模型相对于其信心的准确性。基于图像的研究还应评估图像来源及可能的合成操纵。这些指标连同性能指标,将比仅报告AI技术方面提供更全面的安全与临床影响评估(表4)。下表总结了关于疾病特异性生成式AI应用诊断安全与临床影响的若干证据。从工作流程角度看,这些发现强调了区分AI生成临床建议中的错误与诊断输入被操纵的重要性。前者可影响临床推理与转诊决策,后者可损害诊断的证据基础。两者均需要任务特异性验证与独立核验,尤其当模型输出或外部来源图像会影响具有后果的临床决策时。
## AI生成健康错误信息为何具有说服力
流畅的语言与逼真的图像仅能解释AI生成健康错误信息说服力的一部分。迄今研究表明,健康信息归因于来源的方式、来源在特定领域具有专业性的感知、其技术能力、情绪运用、论证质量及用户认知能力,均影响用户受健康信息说服的程度。因此,评估AI生成健康错误信息的可信度必须将其视为信息特征与用户特征相互作用的多层次传播过程。此外,近期系统综述表明,区分AI生成与人类生成的健康错误信息存在困难,且用户对网络健康信息的感知准确性与其分享意向并不必然对应。本节目的并非概述健康错误信息的各种传播效应及其作为独立终点被研究的方式,而是用以解释AI生成健康错误信息的效应如何影响用户的诊断决策与健康行为。
### 自动化偏差与感知AI能力
该过程中最突出的机制之一是自动化偏差(automation bias)。用户可能依赖技术的表现而非独立核验AI输出,尤其在系统看似展示出高技术或诊断能力时。在Gu等对594名参与者开展的场景研究中,AI的感知诊断能力降低信息不确定性,进而降低用户区分AI生成健康错误信息的意向;信息质量与可解释性是感知诊断能力的最强预测因子之一。在近期一项对四个欧洲国家代表性样本的跨国调查中,较高的AI素养与绩效期望与对AI生成健康信息的更大信任相关,而信任与使用此类信息的意向强烈相关;健康素养与信任无显著关联。来源的实际创建者与呈现给用户的来源标签亦可能产生不同效应。在Sun等结合实验与心理生理测量的研究中,LLM生成的健康信息比人类生成内容更受信任;然而,标注为"人类创建"的内容比标注为"AI创建"的内容被认为更可靠。这一悖论表明,用户对内容结构特征与来源标签的反应可相互区分。
### 权威线索、来源可信度与合成专业性
当用户无法直接评估健康主张的科学依据时,可能通过专业性、机构隶属、专业语言或临床外观判断其可信度。AI系统能够以低成本复制这些线索。在Xie与Li对120名参与者开展的实验中,来自权威来源的AI生成健康新闻更难被识别;反之,理性框架与低权威来源使误导性内容更易被识别;情绪化内容,尤其在传统媒体情境中,降低了识别成功率。来源可信度在纠正错误信息时亦很重要。在Xu等对543名参与者的实验中,双向纠正信息比单向信息带来更高的信念采纳;归因于政府卫生机构的纠正比归因于LLM聊天机器人或未指明来源的纠正更有效。来源归因效应通过感知来源可信度发生,而信息结构效应通过感知说服力发生。这些发现表明,健康主张的表观来源有助于其说服力。深度伪造临床医生、合成语音与数字医生可能利用这种对来源身份的依赖。它们不仅为虚假健康主张增添逼真的面孔或声音,还可模拟专业权威。在此背景下,近期概念研究区分通过临床术语与伪造引用产生的论述性可信度,与源自深度伪造模仿临床医生面孔和声音的"具身权威转移(embodied transfer of authority)"。
### 情感诉求、论证质量与说服性流畅度
情感与论证质量在AI生成健康传播中亦发挥重要作用。在Ji与Zhang的三项互补研究中,AI生成的健康错误信息纠正文本在情感诉求(pathos)与逻辑论证(logos)方面被认为强于人类生成文本,但在来源可信度(ethos)方面较弱;已证明三要素均有助于总体说服力。此外,"AI撰写"标签降低了信息的说服力,但强论证质量部分缓解了这种算法厌恶。对来自AI来源信息的反应取决于情境。强论证可能弥补有限的感知来源可信度,而情感诉求或权威线索可能阻碍批判性评估。将内容标注为"AI生成"并不必然消除其说服效应。Ballot等对554名参与者的研究考察了这一问题,发现使用大语言模型讨论COVID-19阴谋论降低了参与者对这些理论的信念,且当参与者认为自己与人类互动时降幅更大。
### 认知负荷、核验与素养
评估AI生成健康内容亦需要认知资源。用户需快速决策、信息密度、健康主题复杂性或解释的技术性均可削弱核验行为。在Alhur与Alnasser对487名有使用生成式AI寻求健康信息经验的成年人开展的横断面研究中,电子健康素养与技术自我效能与更强的核验意向相关,而较高认知负荷与较弱的核验及更倾向于遵循未经核验的AI建议相关。该模型解释了核验意向56%的方差与遵循建议意向44%的方差。然而,AI支持作为素养工具的影响并非总是积极的。在Peng等的实验中,阅读ChatGPT生成的说服策略分析的参与者,相较对照组在区分错误信息方面表现出更低的准确性。因此,提供AI生成的解释并不确保用户更善于核验健康信息。
### 说服力是情境性而非内在属性
所审查证据并不支持AI生成健康信息比人类撰写内容更具说服力的一般假设。说服力源于生产来源、标签、信息结构、情绪强度、论证质量、权威迹象、主题类型与用户特征的相互作用。因此,"AI生成内容更具说服力"之类的一般性陈述过度简化了当前文献中的异质性发现。AI系统对信息呈现情境的反应亦不相同。在20个LLM与超过340万条提示中,Omar等发现模型在31.7%的中性提示回答中接受了错误医学信息;包含诉诸权威的框架将该比率提高至34.6%,而嵌入临床记录中的虚假建议相较社交媒体情境中的错误信息导致更高的接受率。该发现表明,专业临床语言与权威信号不仅可影响人类,也可影响AI系统。说服取决于信息、其表观来源及其受众。相关因素包括流畅度、逻辑结构与情绪框架;AI标签、专业性与机构或合成权威;以及用户的AI与电子健康素养、认知负荷、技术自我效能与既往经验。这些机制的组合不仅可使虚假健康主张显得可信,还可促使其未经核验即被接受,或导致相应行为;但仅凭信任或说服力并不必然意味着实际健康伤害。因此,下一节将分别评估连接接触、信念、分享、健康行为与临床伤害的证据链。表5综合了AI生成健康信息与错误信息可能影响信任、说服力及相关行为反应的主要实证机制。
## 从接触到健康伤害:AI生成健康错误信息的行为与临床后果
AI生成健康错误信息的公共卫生意义不仅源于其产生虚假或误导性内容的能力。真正风险在于该内容可影响用户的健康相关决策,并在特定条件下导致不安全行为。然而在当前文献中,接触、对错误信息的信念、分享意向、行为改变与实际临床伤害代表不同层次的证据。因此,不应假定接触AI生成错误信息直接导致临床伤害。更恰当的方法是将其视为一系列顺序性但并非必然强制性的阶段来评估从接触到健康伤害的过程。
### 从接受到信息接受与行为依赖
在数字健康环境中接触错误信息本身并不意味着行为改变。在接触与健康决策之间,用户可能评估可信度、咨询其他来源,并决定是否依赖该信息。当前文献表明,来源与内容之间的区分日益困难,尤其在算法生成的健康信息中。Sun等的实验研究表明,大语言模型(LLM)生成的健康信息相较人类生成内容可引发更高水平的信任;同一研究中,将内容标注为"人类生成"亦增加信任。该发现表明,重要风险因素不仅在于不正确或不完整AI输出的可获取性,还在于其被用户视为可信。对健康信息的信念及后续行为因人而异。研究识别出与网络健康错误信息接受和分享相关的若干因素,包括未经核验的接触、信息过载、健康素养有限、社会影响与平台设计。反之,这些指标大多处于自我报告、感知准确性或行为意向层面,并不直接测量实际临床结局。因此,分享意向或对虚假主张的信念应作为临床伤害的风险指标加以评估,而不应作为伤害本身的指标。
### LLM在自我诊断与健康决策中的使用
接触的更具体行为后果是用户使用LLM进行症状评估与自我诊断。这种使用形式尤为重要,因为用户提供的信息可能不完整、含糊或缺乏临床情境。Zada等使用包含不完整信息、模仿真实自我诊断行为的开放式提示评估ChatGPT-4.0的表现。在第一项实验中,94条回答中仅31%被专家与非专家评估者共同判定为正确;两组之间的一致性为34%。研究者得出结论,仅基于ChatGPT的自我诊断可能增加个体的错误信息风险。该研究并未测量实际误诊或延误治疗的频率,因此其发现支持误导性AI输出的可能性,而非证明下游临床伤害。近期评估LLM回答患者问题表现的研究亦发现类似局限性。总体表现可能可接受,但个别病例中重要临床信息可能被忽视。近期一项比较六个慢性咳嗽聊天机器人表现的研究(2026年)发现平均准确率为80.39%,然而每一病例中均有显著临床信息被模型忽视。一项评估关于肾脏肿瘤患者问题的研究发现,14%的答案可能具有误导性或不完整。这些发现表明,仅凭高平均准确率不足以进行患者安全评估。即使不常发生的错误,当涉及警示症状、疑似恶性肿瘤、用药决策或紧急情况时,也可能具有临床重要性。
### 自我治疗与用药决策
使用LLM输出来做出治疗决策可能比仅咨询诊断信息带来更大的行为风险。用户可能从AI系统获得关于药物相互作用、剂量、副作用、非处方产品或替代治疗的直接建议。LLM可支持用药相关信息寻求,但在无法获取完整临床数据情况下生成的建议可能增加不当自我用药风险。该风险取决于任务与模型。在一项评估25个关于痔疮的患者问题的2026年研究中,无模型产生直接有害建议或与重大诊断延误相关的明确建议,尽管各模型在风险沟通与高风险场景方面表现不同。这些发现支持对LLM安全性进行任务特异性而非类别化评估。
### 误导性信息与患者安全
进一步的安全关切在于,不准确的AI生成信息可能以足够令人信服的方式呈现而显得可信。一项评估情绪操纵与对抗性提示的研究表明,在无警告情况下生成危险医学错误信息的比率从初始6.2%上升至高达37.5%。此外,错误信息的生成不仅取决于模型的事实准确性,还取决于交互形式与提示结构。由临床推理系统生成的伪造医学数据亦可能对患者安全构成风险。在MHB基准中,即使表现最佳的模型幻觉率亦达29.1%,而部分开源模型超过57%。此类基准刻画技术失效模式,但并不直接测量患者伤害。因此,患者安全评估不仅应考虑总体准确率,还应考虑单项错误的临床严重程度、可逆性及潜在规模。
### 从个体伤害到机构信任的侵蚀
AI生成健康错误信息还可能影响个体决策之外的信任。归因于临床医生、医院或公共卫生机构的虚假或被操纵信息可削弱对医疗系统的信心。在使用深度伪造临床医生、合成语音与虚假专业身份所生成的内容中,该风险尤为显著。Malko?的多层次认知扰乱框架提出,反复接触AI生成健康错误信息可能将个体错误信念与机构信任的逐渐丧失相联系。在该概念框架内,反复接触AI生成健康错误信息与对机构信任侵蚀的更广泛关切相关。该关系的方向仍不确定。对医疗机构的distrust可能促使依赖错误信息来源,而接触错误信息可能加深既有不信任。因此,当前横断面发现不足以明确确定该关系的方向。需要纵向研究评估AI生成健康错误信息对医生信任、医疗系统信任及就医行为的长期影响。
### 临床伤害证据的关键空白
在所审查文献中,内容生成与准确性研究在数量上远超直接测量真实世界临床伤害的研究。多数研究评估LLM回答的准确性、完整性、安全性与感知可信度。然而,缺乏关于错误AI建议后果的直接证据,包括治疗延误、药物误用、并发症、住院或死亡。研究识别出不同的潜在伤害路径:误导性自我诊断、不当自我用药,以及对患者问题不完整或不安全的回答。但单独而言,这些研究均未证明临床不良事件的发生率。因此,当前证据最有力地支持风险可能性与行为伤害路径;对于真实世界的发病率与死亡率负担,应作更谨慎的推断。接触AI生成健康错误信息并不必然导致伤害。这些路径可包括内容接受、未经充分核验即使用内容,以及在健康决策中使用AI健康信息。当个体在无医疗专业人员参与情况下使用AI进行自我诊断、治疗或决定用药时,潜在伤害可能最大。当前多数证据聚焦于评估健康相关AI内容的安全性及多种行为中间结局的可能性,而非更能完整刻画健康错误信息问题的临床结局。因此,前瞻性、纵向与真实世界研究是确定AI生成健康错误信息完整公共卫生负担的主要研究优先事项。
## AI生成健康错误信息与深度伪造内容的检测
检测AI生成健康错误信息是一个超越传统错误信息分类的多层次核验问题。虚假或误导性内容不再仅以文本主张形式出现,还可采取合成图像、被操纵的医学图像、克隆语音、深度伪造视频及其多模态组合等形式。健康领域的一项根本挑战在于,确定内容是否由AI生成与核验其所含健康主张是否科学准确是两个不同问题。因此,可靠的核验系统必须综合评估内容来源、操纵迹象、与科学证据的一致性及跨模态一致性。
### 基于文本的健康错误信息检测与循证核验
健康错误信息自动检测的早期方法主要依赖文本特征。然而,语言模式并不直接表明主张的科学有效性。基于内容的分类器在新主题领域与数据分布变化时亦可能丧失性能。为应对该局限,FireAnt系统将专家核验的主张与信息检索及机器学习方法相结合;该系统不仅生成错误信息标签,还提供解释与专家反馈。近期研究通过获取科学证据与基于LLM的推理扩展了该方法。Barone等开发的CER系统将生物医学主张识别、从PubMed检索科学证据及在单一核验架构内评估主张真实性相结合。该系统可处理不仅从结构化文本,还可从视频转录与网络内容中提取的主张。据报道,CER在HealthFC、BioASQ-7与SciFact基准上相较现有方法取得更高F1分数。同一研究组的第二种方法结合证据与推理,提出先获取相关科学证据,再基于该证据进行真实性评估,而非由LLM自行做出真实性判断;在HealthFC、BioASQ-7b与SciFact上报告最先进性能,证明了在健康错误信息核验中将LLM的生成能力限制于独立科学证据的重要性。该方法通过Med-GUARD得到进一步发展。Cao等未将基础模型作为单一最终决策者,而是将其配置为相互交叉验证的证据生成器与验证器。在四个医学错误信息基准上,该系统相较25种替代方法将F1分数提高3.2—4.5分;多模型对抗协商机制将幻觉率降低66—70%。该性能优势在跨域实验中持续存在,亦证明了该方法在泛化性方面的重要性。更经典的监督模型亦产生强结果。在Malek等针对COVID-19错误信息的研究中,评估了基于BERT、T5与GPT-2的分类器;BERT达到98%准确率,并将AI生成错误信息的假阳性率降低44%。然而,该研究在英语COVID-19数据集与离线条件下进行。因此,高基准性能不应直接等同于真实社交媒体环境中的表现。
### 检索增强生成与证据核验
检索增强生成(retrieval-augmented generation, RAG)通过将LLM回答扎根于外部科学来源,为检测与核验健康错误信息提供了重要途径。Upadhyay与Viviani开发了三阶段RAG模型,在获取健康信息时不仅考虑主题相似性,还考虑事实准确性。该系统首先从科学文献中检索相关段落,然后从中生成情境化表示,最后基于主题相关性与事实准确性对文档重新排序。虽然检索材料与查询之间的高语义相似性确保相关信