利用仿真技术为评估大型语言模型在医疗领域的新型风险范围提供实用框架

《BMJ Mental Health》：Leveraging simulation to provide a practical framework for estimating the novel scope of risk of large language models in healthcare

　　摘要
背景：大型语言模型正迅速被应用于临床和消费领域，但其概率性输出却引发了多种不安全的使用后果。目前，量化及降低这类风险存在诸多困难，这可能阻碍基于大型语言模型的医疗软件作为医疗器械的监管评估与临床应用。因此，需要可行的方法将现有的医疗器械监管标准扩展到此类软件上。

目标：展示如何通过模拟方法，扩展现有的医疗器械风险管理框架，以应对基于大型语言模型的医疗软件所特有的风险。

方法：我们采用基于模拟的方法来评估此类软件的风险。共对14种开源模型进行了测试，这些模型需完成三项安全分类任务：自杀意念识别、治疗请求识别以及类似治疗的互动识别。相关合成数据由Gemini 2.5 Pro生成，并由精神科医生进行评估。通过模型的误报率，我们估算了风险发展的可能性P1，以及该风险最终导致伤害的可能性P2。

研究结果：不同任务下，大型语言模型在生成合成数据方面的表现各异，其在中性或非治疗性内容上的表现较好，但在自杀意念识别及类似治疗互动识别方面则常出现错误。模型规模越大，性能通常越好。估算得到的P1值在1.1×10??至1.6×10??之间，P2值则在4.9×10??至5.1×10?3之间，相差四个数量级。

结论：通过将模型故障模式与可能导致伤害的路径联系起来，模拟方法能够扩展现有的医疗器械风险管理框架，从而有效应对基于大型语言模型的医疗软件所具有的概率性及情境依赖型风险。

临床意义：基于模拟的风险评估为特定类型的此类软件、不同患者群体以及不同临床环境下的风险状况提供了实用的评估方法。

已有研究进展：大型语言模型在临床和消费领域展现出巨大潜力，但同时也出现了多种令人担忧的故障。现有的医疗器械风险管理框架是为结构更为明确、行为更为确定的系统设计的，难以适应大型语言模型的概率性及情境依赖性特征，也无法应对由此产生的风险不确定性。

本研究贡献：本研究提出了一种实用的、基于模拟的方法，可在现有监管框架内定量评估基于大型语言模型的医疗软件的风险。该方法将模型误差转化为对特定风险发展成实际危害的频率的估算，从而将“大型语言模型安全性”这一抽象问题转化为可与其他监管风险管理框架及现有关于计算建模、人工智能和机器学习变化控制的指南相结合的量化指标。

对研究、实践或政策的潜在影响：基于模拟的风险评估能够通过明确并量化不确定性，使基于大型语言模型的医疗软件能够在现有监管体系内得到评估。这些估算结果有助于有针对性地制定监管措施——对高风险场景优先采取防护措施并收集相关证据，而对低风险场景则可适当简化监管要求。

背景：大型语言模型越来越多地被应用于医疗领域。然而，其概率性输出已导致了一系列危害，从心理困扰到某些情况下的自杀死亡不等。这类事件多发生在非正式的临床使用场景中，凸显出未经规范的管理可能带来的患者安全风险，也强调了需要一种系统化的方法来应对这些风险。要将现有的安全管理理念应用于基于大型语言模型的医疗软件，首先必须明确相关的监管概念。所谓“危害”，是指任何可能造成伤害的源头；当一系列事件使患者暴露于该危害之下时，便形成了“危险情境”；“伤害”则是这种危险情境所带来的负面后果，而“风险”则反映了伤害发生的概率及其严重程度。不确定性则体现了对于这些概念以及从危害到伤害的路径的了解程度存在局限。由于不确定性无法完全消除，美国食品药品监督管理局要求提供“合理的安全性与有效性保障”，而非绝对的保证。值得注意的是，这种从危害到伤害的线性序列仅作为一种便于处理的起点和监管抽象模型，并非完整的因果关系网络模型。尤其在精神疾病领域，临床伤害往往具有累积性、非确定性，且受多种可能随时间变化的情境因素影响，这些因素超出了简单的线性事件链范畴。美国食品药品监督管理局的官方指南及相关文献已将这一模型转化为结构化的医疗器械监管流程。欧盟的《医疗器械法规》以及英国的药品和健康产品监管局也为基于软件的医疗器械提供了类似的风险管理、临床评估及全生命周期监管框架。制造商需识别可能产生伤害的环节与方式，估算其发生概率与严重程度，提出相应的风险控制措施以降低这些风险，并确保其使用带来的益处大于剩余风险。由于软件故障的风险往往难以量化，制造商可能需要在能够提供证据降低估算的不确定性之前，先假设最坏情况的发生概率。这一过程贯穿产品的整个生命周期，从设计阶段到上市后的监测阶段，制造商需对在新环境、新患者群体或模型更新后出现的风险负责。近期，美国食品药品监督管理局的指南指出，基于人工智能的医疗软件带来了传统风险建模难以处理的挑战，包括初始部署后的模型更新问题。与以往的医疗器械不同，人工智能系统造成的伤害往往更难以预测和察觉。它们可能会生成模糊或不完整的信息，通过训练数据传递偏见，或因用户过度信任其输出而引发自动化偏见。此外，随着数据分布的变化，它们的性能也可能随时间下降，还可能通过对抗性攻击被刻意操纵。为此，监管机构现在更加重视全生命周期的管控，包括完善且具有代表性的数据管理、透明的模型文档、持续的验证与监控，以及加强网络安全措施。

图1：请求许可
(A) 符合ISO-14971标准的风险管理框架。
(B) 将基于大型语言模型的计算模拟纳入现有监管风险框架的思路，附有示例（自杀倾向患者与非治疗类聊天机器人的互动）。LLM指大型语言模型；SaMD指作为医疗器械的软件。

即便有了针对人工智能的这些改进，将这一风险模型应用于基于大型语言模型的系统仍并非易事。制造商需考虑各种故障类型，包括信息故障，如有害输出、遗漏或信息披露错误；功能故障，如治疗效果不佳或治疗措施缺失；系统故障，即那些会改变临床行为和工作流程的故障；以及理解故障，即原本准确的输出被误解的情况。这类故障可能出现在患者与设备、医生与设备，或是医生、患者与设备之间的互动中。从基于大型语言模型的医疗软件产生的危害发展到实际的伤害，还可能受到患者基础脆弱性、临床监管力度以及用户使用习惯的影响。同样的模型输出，由于这些及其他因素的不同，可能导致截然不同的临床后果。因此，风险不仅涉及技术故障，还包括信息、功能、系统及理解层面上的问题——每一层面都存在难以量化与界定的不确定性。将这一普遍的风险理论转化为具体、可测量的应用案例，对监管机构和制造商而言都是巨大的实践挑战。

因此，监管机构在评估基于大型语言模型的医疗软件时面临的核心挑战之一，就是估算并界定其风险特征中所固有的不确定性。由于这类系统本质上是概率性的，不确定性贯穿于风险评估的每一个环节。潜在的危害种类几乎是无限的；连接危害、危险情境与伤害的事件序列极为复杂且取决于具体情境；而伤害的严重程度则可能从轻微不便到致命不等。然而，正是这些特性使得风险量化问题特别适合通过计算模拟来解决。如果开发者能够构建出可靠的模型，准确模拟特定提示、用户行为或部署条件如何影响危害发展成危险情境的概率（P1）以及该危险情境最终导致伤害的概率（P2），那么他们就能获得可用的估算结果，而无需依赖最坏情况的假设。美国食品药品监督管理局在2018年和2023年发布的关于计算建模与模拟的指南，已经为可信度评估、验证及不确定性分析提供了以风险为导向的框架，表明在经过适当验证的情况下，模拟数据可以有效地补充甚至替代临床证据。尽管这些指南是以美国食品药品监督管理局的指导方针为背景制定的，但其核心原则源自ISO 14971风险管理标准。这些原则是各国监管框架的基础，包括欧盟的《医疗器械法规》，因此也可能适用于非美国的监管环境。

目标：在本研究中，我们通过一个具体的示例，展示如何利用模拟方法扩展美国食品药品监督管理局的现有监管指南，以应对基于大型语言模型的医疗软件所特有的危害、危险情境及伤害。我们利用大型语言模型生成的、经医生筛选过的模拟聊天机器人与用户互动数据，构建了一个定量框架，用于估算在不同类型的用户表述、情感状态以及对话主题下（从中性内容到情绪强烈或具有临床导向的对话）发生伤害的概率。虽然该框架是基于单一应用案例建立的，但其设计目的是可推广到其他基于大型语言模型的医疗软件应用，包括文档生成、决策支持、诊断及治疗功能等。这类基于模拟的方法有助于制造商和监管机构大规模评估大型语言模型。此处分析的案例均为简化后的示例，仅用于演示模拟风险评估的原理，而非对实际可部署的医疗软件系统的评估，也不能替代完整的监管开发流程。

方法：
数据集的构建与筛选：我们使用Gemini V.2.5 Pro生成合成数据，用以评估模型在替代性安全分类任务上的表现，同时为一项旨在研究在医疗环境中安全使用大型语言模型的人工智能安全研究项目模拟聊天机器人与用户的对话内容（更多细节见在线补充方法部分）。初步检查发现，大型语言模型生成的文本在处理高临床风险类别时可靠性较低。因此，所有生成的文本和对话在纳入分析前都经过了医生的审核。每位精神科医生会逐一审查每条输出文本，要么直接批准该文本，要么对其稍作修改，使其符合相应的风险类别要求，要么将其从数据集中删除。随后，另一位精神科医生会对第一位医生批准或修改后的文本进行再次审核，同样决定批准、修改或删除。在开始计算模拟之前，每个风险类别的样本数量都会被调整，使其不超过所有类别中批准文本最少的那个类别的样本量（见在线补充图S5及表S1–S3）。在本次演示中，我们主要关注信息故障类型（暂不讨论由人机互动引发的理解故障），以此展示基于模拟的风险评估机制。这些替代性的安全分类任务仅用于捕捉与本示例相关的特定信息故障类型，并非用于替代实际部署系统中的操作安全性能评估。

模型评估：我们对属于三个开源系列（Qwen、Gemma-3和LLaMA-3）的14种大型语言模型进行了评估。所有模型的运行参数均保持固定（温度值为0.0，最大生成词数为256，top_p值为1.0），以确保输出结果具有确定性。针对上述三种分类任务，我们设计了相应的提示语；分类性能的不确定性则通过95%置信区间来量化，这些置信区间的选择依据是具体的评估指标（详见在线补充方法部分）。对于那些检测准确率达到100%（无误报）的模型，我们采用了Beta(1, n)二项分布的中位数作为其真实误报率的保守下限。

P1与P2的估算：
P1指的是某种危害发展成某种危险情境的概率——例如，当有自杀倾向的用户进行不当的治疗互动时，这一概率可通过大型语言模型相关概率与用户相关概率的乘积来估算。
P2则表示在某种危险情境下最终导致伤害的条件概率，这里的危险情境指的是未能被发现的、涉及自杀倾向用户的治疗互动。

治疗互动领域的误报率FNRMTherapy_Engagement是通过实验估算得出的，之后还会通过一个故障倍率M进行调整，以反映与上游检测故障之间的关联——也就是说，如果之前在自杀意念识别或治疗请求识别方面存在故障，那么在治疗互动阶段的故障概率就会上升。

P1和P2计算中使用的所有参数，包括各风险的基准发生率范围、行为概率、模型的误报率以及各种保守的限定假设，都汇总在在线补充表S7中，同时附有这些参数的来源、测试范围及相应依据。尤其需要说明的是，参数P（未能寻求帮助）被设定为100%，作为一种保守的最坏情况假设。由于P会以乘法形式出现在P2的计算中，因此伤害发生的估算概率会随着这一假设的值而呈线性变化；若该数值降低，P2的值也会相应下降。对于那些目前尚无明确实证数据的参数——比如在未接受治疗的情况下伤害发生的基准概率——我们则采用了较宽的敏感性范围，以便涵盖合理的风险区间。

研究结果：
Gemini生成的合成数据：Gemini V.2.5 Pro在生成符合目标情感基调及临床内容的文本方面表现不一（见图2A–C）。非自杀性表述的识别准确率总体较高（500条中有481条被正确保留），不过在表达悲伤、模糊或愤怒情绪时准确率会有所下降。相比之下，自杀意念相关内容的保留率显著更低（500条中仅315条被保留，p<0.001），其中那些描述明确自杀意图及准备行为的表述表现最差（见图2A及在线补充表S1）。在检测是否需要治疗方面，800条非治疗性表述中有768条被保留，而明确表达寻求治疗的表述识别效果则明显更差（400条中仅340条被保留，p<0.001），尤其是那些带有积极情感色彩的表述（见图2B及在线补充表S2）。在模拟治疗互动场景中，识别结果的变化幅度最大：几乎所有非治疗性及含义模糊的对话都能被保留，但不到一半的模拟治疗对话无需修改就能符合标准（见图2C及在线补充表S3，p<0.001）。不同治疗方法的识别效果也存在差异：基于认知行为疗法和辩证行为疗法的对话识别准确率较高，而涉及心理动力学分析、诊断明确或药物相关内容的对话则常常偏离预设的治疗框架，需要进一步修正或剔除。值得注意的是，临床高风险类别的识别失败率最高，包括有明确自杀意图的案例以及类似治疗的互动场景，这凸显出对于合成数据而言，专业临床人员的评估既不可或缺，同时也存在局限性，因为在对风险预测最为关键的领域，其精确度较低。图2展示了三项实验的句子生成统计情况：(A) 用户的自杀意念表达，(B) 用户寻求治疗的请求，以及(C) 用户与聊天机器人的治疗互动分类。SI指自杀意念；CBT为认知行为疗法；DBT为辩证行为疗法。

跨模型预测性能比较
我们对比了Gemma、Qwen和LLaMA系列模型在上述各类表述分类任务中的表现。Gemma和LLaMA系列中参数较少的模型难以生成符合要求输出结构的响应，但整体来看，随着模型参数量的增加，各项指标（敏感度、特异性、准确率和F1分数）的表现都会有所提升，不过这种提升趋势因任务类型和模型系列的不同而有很大差异（见图3及在线补充图S6–S8）。

模型在分类任务中的表现
图中行代表不同的性能指标（解析成功率、敏感度、特异性、准确率和F1分数），列则表示不同的分类任务（用户的自杀意念表达、用户寻求治疗的请求以及用户与聊天机器人的治疗互动）。

进一步分析了在各项任务中哪些表述会被反复错误分类。在自杀意念检测中，有19条表述（占比4.2%）被14个模型中的超过50%误判：其中包括7条有明确计划和准备的主动自杀意念表述、4条有计划但无自杀意图的主动自杀意念表述、3条被动自杀意念表述，以及5条情感态度模糊的表述，这反映出这些模型在处理隐含计划意图的表达及条件句时存在困难（见在线补充图S9）。无论是否存在明确自杀意图，若无法检测到自杀意念，都会带来临床上的严重问题，因为存在计划行为的矛盾心态本身就属于高风险的常见表现。在检测用户寻求治疗的需求时，有4条表述（占比0.5%）被超过50%的模型误判：其中包括3条带有悲伤情绪的陈述性表述，以及1条带有悲伤情绪的非治疗性疑问，这说明这些模型在处理不直接表达求助意图、但包含悲伤情绪的陈述性内容时存在困难（见在线补充图S10）。在判断用户是否真正参与治疗互动时，有7段对话（占比1.7%）被超过50%的模型误判：其中包括4段属于明确的治疗互动，3段则为边界模糊的互动，这表明这些模型在区分真正的治疗互动与类似但界限不清的情境时存在系统性困难（见在线补充图S11）。

P1和P2的估算
在自杀意念的基线发生率为1%的情况下，P1的估算值在1.1×10??到1.6×10??之间，跨度达四个数量级，相当于每百万次用户与模型的交互中会有0.011到161次危险情况发生。当估算出的风险越低，不确定性就会越大：那些P1估算值最低的模型，其不确定性区间相对于估算数值本身而言相当宽，这说明由于测试数据量有限，这类模型难以准确估算极低的假阴性率及相应的风险水平（见图4）。模型选择和基线发生率假设都会显著影响整体结果的不确定性。仅在Gemma系列模型中，P1的数值就存在3.3个数量级的差异，而当自杀意念的基线发生率在0.1%到10%之间变化时，由于线性关系，还会额外带来两个数量级的差异。本分析侧重于基于敏感度的风险评估，未考虑假阳性带来的运营成本，因为过度警报可能会因疲劳效应而降低实际应用中的安全性能。

图4展示了不同模型系列中P1和P2的估算结果。线条的透明度及标记形状分别表示对应模型的参数数量，颜色则用于区分不同的模型系列。

P2的估算值在基线情况下，即认为缺乏专业护理会导致伤害的概率为1%时，范围在4.9×10??到5.1×10?3之间，跨度约两个数量级，相当于每百万次用户与模型进行四轮交互中会有49到约5100次伤害发生。与P1类似，那些估算出的风险最低的模型，其不确定性也最大，这是因为使用规模较小的评估数据集时，很难准确描述极为罕见的不良后果。多个表现较好的模型之间的不确定性区间存在重叠，因此仅凭点估计值很难区分它们在实际风险贡献方面的差异。为研究检测失败之间的关联效应，我们改变了失败倍率参数，从独立情况（m=1）到强条件依赖情况（m=100,000），这样的设定足以让在所有基线假阴性率水平下，调整后的假阴性率都接近1（见在线补充图S12）。在独立情况下，不同模型的P2数值仍在4.9×10??到5.1×10?3之间，跨度为2.0个数量级。而在强条件依赖情况下，所有模型的调整后治疗互动相关假阴性项都会趋近于1，从而导致P2的数值收敛到1.0×10?2（见在线补充图S13）。这一结果表明，对于那些存在相互关联的故障模式的模型而言，单个分类器的性能对系统整体风险的影响其实相当有限。如果在实际部署的系统中确实存在此类关联，那么优化单个分类器或许只能提升特定任务的表现，而无法显著降低整体风险。在这种情况下，干预的重点应放在导致故障关联的共性根源上，而非某个单一的分类器。

讨论
尽管现有的医疗设备监管规范并非为像大语言模型这样的概率系统而设计，但我们的研究结果表明，通过计算机模拟，这些规范可以得以扩展，用以应对大语言模型特有的风险。具体而言，我们展示了如何结合代理安全任务模拟、行为假设以及不确定性传播方法，来估算危险状况发展成实际危害事件的概率（P1），以及随后进一步发展为伤害的概率（P2）。这些分析揭示了模型选择、假设条件以及故障间的关联程度如何显著影响风险估算结果，同时也指出了哪些领域的不确定性仍然较高，以及哪些方面的真实世界数据能够为风险评估提供更多有用信息。这种模拟方法并非要取代现有的监管框架，而是能够在现有的FDA及国际监管流程基础上，帮助界定、估算并控制作为医疗设备的基于大语言模型的软件所带来的不确定性——这也是将其安全地应用于临床实践所面临的核心挑战。

我们的方法能为相关方带来诸多优势。对于监管机构而言，大语言模型打破了国际医疗设备标准中所要求的稳定、可量化的概率假设。而模拟方法可以通过初步估算某种危险发展成实际危害事件的概率（P1），以及该危险最终导致伤害的概率（P2），从而降低对这类确定性的依赖。它可作为上市前监管的补充手段，与现有的计算建模与模拟技术以及预先制定的变更控制方案相配合，协助监管机构做出最终决策。这一思路在概念上类似于“影子模式”并行部署方式，即在新模型上线的同时让其在不影响实际决策的前提下与现有系统一同运行。而模拟方法则进一步拓展了这一理念，它允许在无需实际应用场景的情况下，对任意多的场景进行前瞻性评估。对于制造商来说，模拟方法有助于明确预期并明确责任归属：它能够提供定量估算，帮助界定风险范围，同时也能明确为限制可能出现的各种危害路径所需付出的合理努力程度。此外，它还能帮助制造商更高效地评估各种缓解策略的效果，比如通过利用检索增强生成技术，以外部检索到的文本作为输出依据，从而减少幻觉现象。对于临床医生和患者而言，模拟方法能够清晰地揭示设备的局限性，同时也有助于建立相应的保障机制，比如人工监督、监控措施以及升级处理流程，这些都是共同保障安全责任的一部分。重要的是，这种方法并不会削弱制造商的安全责任，也不会替代那些在必要时所需的临床证据。此外，我们的方法还有助于将公众关于大语言模型安全的讨论，从那些备受关注的个别案例，引导至对危险、危害事件及其成因之间的因果关系的深入理解，以及可用于防止这些情况进一步发展的缓解措施。

大语言模型的安全评估并非一成不变，这里提出的模型可以为从预部署阶段到上市后监测的全生命周期提供支持。就像在药物警戒领域中，通过对某种药物的持续监测，可以逐步缩小对其初始风险程度的不确定范围一样，通过不断收集并分析大语言模型的风险特征，也有助于打造更安全的产品。不过，与分子药物不同，基于大语言模型的系统具有动态性和非确定性，其行为可能会因为模型更新、模型漂移或应用环境的变化而发生变化。这就要求比传统药物警戒更频繁地进行安全监测。在这种情况下，模拟方法可以及时向监管机构和制造商发出警示，告知何时不确定性过高或模型稳定性不足，从而需要通过收集真实世界数据来为后续决策提供依据。

随着真实世界数据的积累——例如那些已部署的人机交互记录，如聊天记录、临床文档或由大语言模型生成的评估报告等——这一评估框架就可以不断进行迭代优化。这包括更新模型假设、进一步收紧性能和行为参数的不确定性范围，以及将模拟预测结果与实际观测结果进行比对验证。即便是一些较为稀少的真实世界案例，比如严重危害事件的记录，也可以用来约束和重新校准模拟参数，进而为有针对性地生成合成数据提供依据。这样就可以在输入空间的关键临床相关区域开展系统的压力测试，其方式类似于用于医疗设备的离线建模方法，以及其他安全关键领域中采用的基于场景的虚拟验证方法。与ISO 14971标准中强调的使用环境及人为因素相一致，应用场景的差异——比如是面向患者还是面向临床医生、监管程度以及自动化依赖程度等——也可以作为额外的概率参数纳入这一框架中。这些参数可能包括临床医生的干预频率、升级处理或退出系统的比例等，它们可能会影响最终的风险水平（P2），而不会被视为固定不变的外部条件。这种闭环式的整合方式有助于实现全生命周期的安全监测，而非仅仅进行一次性的静态风险估算。

目前这项工作仅为量化基于大语言模型的医疗设备可能带来的危害提供了初步的框架，距离将我们所提出的完整方法真正投入应用还有很长的路要走。其局限性首先在于这项研究仍属于概念层面，虽然说明了如何将现有的关于危险和危害的监管原则应用到大语言模型上，但这本身并不能直接确立经过验证的安全标准，这类标准的制定仍需由监管机构根据实际情况来判断。基于模拟的估算结果依赖于许多目前尚未被充分理解的关于模型、人类行为以及疾病特征的假设，而这些假设必须通过多种真实的实际数据来源——如用户与聊天机器人的交互记录、临床诊疗结果、即时生态评估数据等——来进行验证。即便是对这些参数进行微小的调整，或是对大语言模型本身进行更新，都可能改变评估结果。此外，尽管所有模拟用的表述都经过了两位精神科医生的审核和确认，但由于这些表述是由大语言模型生成的，而非来自真实的 patient互动，这就存在着“模拟数据与真实数据之间的差距”。不过，就目前的技术水平而言，这种差距确实是不可避免的。目前公开的可用的关于大语言模型造成危害的真实世界数据集仅包含19名患者的相关信息，这也进一步凸显了收集真实世界数据的必要性，而本文的研究或许能为这一工作提供一定的推动作用。

其他局限性还与使用模拟数据进行风险建模有关。大语言模型生成的语言可能过于侧重于典型病例的表现，而无法准确还原真实患者的言语模式。这其中还包括自杀相关语言与其他精神疾病症状——如抑郁症、边缘型人格障碍或创伤相关疾病——中的表达之间存在相似之处，这类相似性可能会模糊不同类别之间的界限，而目前的合成数据集也无法完全反映这一点。由于采用了二元分类方法，而非连续的临床风险评分，这一问题更为突出。同样，大语言模型生成的内容可能在分布特征、风格或结构上，与模型训练数据集中其他大语言模型所识别的特征存在相似性，而非真实的临床信息。这两类干扰因素都可能人为高估模型的性能。尤其是如果合成数据未能充分体现那些高度模糊、结构混乱或严重程度的自杀相关语言，或者如果临床医生在编辑时倾向于删除那些最混乱的对话模式，那么在输入空间中那些对实际风险最具关键意义的区域，模型的敏感度就可能会被高估。这类偏差会贯穿整个模拟过程，从而导致在语言多样性更高、临床情况更为复杂的真实世界环境中，P1和P2的值偏低。因此，这些估算值应被视为对不确定性和风险较为乐观的估计范围，而绝不能视为经过精确核算的固定危害程度。要准确评估这些偏差的总体规模及其对实际操作风险的影响，就需要现实世界的验证数据。任何模型都无法完全考虑那些可能在实际应用中加剧或减轻危害的人为因素或人为干预效应（如准社会关系、自动化偏见或临床监督等）。在心理健康领域，基于大语言模型的系统还可能营造出虚假的亲密感，从而导致情感共鸣失败或修复不当，即便输出内容并无事实错误，也会造成心理伤害——包括焦虑或信任缺失。这些人为因素很可能会显著影响危害的发展进程。该框架所依赖的条件在使用专有技术或快速发展的系统时往往无法得到保证。更广泛的推广可能需要通过立法要求相关方将必要的模型和数据共享给监管机构。由于我们的评估仅限于英语内容，其结果可能不适用于其他语言或文化背景。最后，我们尚未模拟任何风险控制措施对我们概率估算值的影响。从概念上讲，这需要在对某一控制措施实施前后重新估算P1和P2，以此量化其对风险的影响。本文提出的框架展示了如何在现有监管体系内评估大语言模型辅助医疗系统的安全性。通过范围限制、多层防护机制、计算模拟以及现实世界数据等方式来评估不确定性，如本研究所示，能为监管机构和开发者提供一条清晰且可推广的路径，以便以高效且经济的方式评估这类系统的利弊关系，同时保护患者免受可预防的伤害。至关重要的是，这些局限性凸显了迫切需要可靠的现实世界数据来验证、校准并补充基于模拟的大语言模型辅助医疗系统风险估算。