《Scientific Reports》：A mixed-methods evaluation of a language model-powered breast cancer note augmentation tool for patients
编辑推荐：
大型语言模型（LLMs）有望使临床记录更易被患者理解，但相关工具在部署前必须经过患者测试。研究人员开发了一款面向患者的工具，利用LLM（GPT-4-0314）生成临床记录的"增强内容"：简化记录文本、定义医学术语、常见问题解答、提取关键信息以及待办事项。研究人
大型语言模型（LLMs）有望使临床记录更易被患者理解，但相关工具在部署前必须经过患者测试。研究人员开发了一款面向患者的工具，利用LLM（GPT-4-0314）生成临床记录的"增强内容"：简化记录文本、定义医学术语、常见问题解答、提取关键信息以及待办事项。研究人员以200名健康女性参与者及8份临床记录对该工具进行了评估。与对照组相比，可使用增强内容的参与者在自我报告的信心方面更高（增强组2.83 ± 0.05，对照组2.18 ± 0.07，p<0.001），在理解性问题上的得分也更高（增强组0.63 ± 0.02，对照组0.54 ± 0.04，p<0.001）。研究人员对7名有乳腺癌病史且使用自身临床记录的参与者进行了访谈，其描述了工具的易用性及对记录理解方面的感知改善，但也报告了对LLMs的担忧。三名临床医生进行了错误分析，发现大多数错误为轻微错误，且与假定情境（assumed context）相关。
研究背景方面，肿瘤患者常接收大量关于复杂跨学科诊疗的信息，加之对诊断、预后和治疗的焦虑，肿瘤科患者普遍难以回忆就诊时传达的信息。电子化获取临床记录可使患者按自身节奏回顾就诊细节并增进对诊疗的理解。然而，肿瘤科医生对"开放记录"（open notes）是否对患者有益仍存在分歧，担忧记录耗时增加以及阅读记录可能引起患者困惑或忧虑。一项分析某机构60名肿瘤科医生逾10万份记录的研究显示，开放记录实施后记录（尤其是"评估与计划"部分）变得更长且更易读，提示提供者可能确实在为患者调整书写方式。LLMs可通过自动简化记录来缓解上述担忧，作为提供者向患者延伸的桥梁。LLMs能够在保持语法和语义准确的前提下简化医学文本、将医学文本翻译为患者友好语言，并在生成临床摘要方面达到甚至超越临床医生水平。研究人员建议在肿瘤学领域利用这些应用，但此类增强内容不仅需与肿瘤科提供者共同测试，还需在LLM驱动的工具于临床部署前与患者共同测试。
研究人员开展了以下研究：设计并试点了一款面向患者的用户界面，使患者能够阅读带有LLM后端生成的不同增强内容的临床记录，增强内容包括定义（definitions）、简化（simplifications）、常见问题解答（FAQ）、关键信息（key information）和待办事项（to-do list）。研究人员提出两个版本的用户界面：Select（包含定义和简化增强）和All（包含上述全部增强）。研究聚焦于乳腺癌——全球女性中最常见的癌症。研究人员通过200名健康参与者的调查研究评估用户界面与增强内容对理解力的影响，随后对有乳腺癌病史的患者进行深度访谈以了解LLM驱动用户界面的可接受性及其对诊疗的影响，最后由三名临床医生对增强内容进行错误分析并描述错误类型，并对GPT-5.5生成的增强内容重复了错误分析且发现错误更少。研究得出的结论是：LLM生成的增强内容可改善患者对临床记录的理解和信心，但鉴于患者偏好及错误的存在，不宜在未经以患者为中心的混合方法评估和以临床医生为中心的错误分析的情况下部署。其重要意义在于，这种结合错误分析与患者混合方法评估、并以患者为中心的用户界面为支撑的研究，是对LLM-based医学文本简化的独特分析，区别于主要聚焦临床审查、自动化指标或LLM-as-a-judge评估的相关工作。
在技术方法上，研究人员主要采用：其一，基于GPT-4（GPT-4-0314）的提示工程（prompt engineering），主要采用零样本提示（zero-shot prompting）和提示链（prompt chaining）为每类增强内容设计自然语言指令；其二，通过Prolific众包平台招募健康女性参与者开展随机网络调查研究，参与者随机观看合成记录或真实记录，并随机顺序接受Control、Select、All三种增强水平；其三，通过Prolific及某机构临床中心有目的性招募有乳腺癌病史的患者开展半结构化深度访谈，采用Braun和Clarke的主题分析法并借助DeDoose软件进行定性分析；其四，由三名临床研究伙伴对增强内容进行人工错误分析并归类错误类型，同时开展自动化可读性分析（Flesch-Kincaid Grade及词典词汇百分比）；其五，统计分析采用配对Wilcoxon符号秩检验并以Benjamin-Hochberg程序校正多重假设检验，所有分析在R 4.1.1中完成。样本队列方面，调查研究共招募200名参与者，访谈研究共纳入7名有乳腺癌病史的参与者，临床记录共12份（4份合成记录与8份患者捐赠的真实记录），真实记录日期范围为2007年至2023年。
研究结果方面，"研究人群"：调查研究招募200名参与者，多数曾访问健康门户、具备足够健康素养并认同AI在医学中的有益影响；访谈研究7名参与者均有门户使用经验，除一人外均认同AI在医学中的有益影响。"定量分析"：通过随机网络调查得出，阅读Select或All增强记录的参与者在行动理解得分、自我报告理解得分和自我报告信心得分上均显著更高；与Control相比，All增强使行动理解得分从0.537升至0.605（p=0.02），自我理解得分从1.45升至2.25（p<0.001），自我信心得分从2.17升至2.95（p<0.001）；按记录类型分层后发现，Select和All增强仅在真实记录条件下显著改善行动理解得分（真实记录从0.451升至All的0.541，p=0.04；合成记录从0.622升至0.669，p=0.30）；参与者最愿意再次使用的增强内容为简化（83.5%）和定义（72.5%）。"定性分析"：通过对访谈的主题分析得出三大主题，即对记录阅读的当前实践与态度、增强内容的益处、对增强内容的担忧；所有参与者对定义增强的Likert评分最高，参与者报告增强内容使记录更易读、压力更小、更具人情味，并有参与者指出可在原始记录与增强记录间切换以核对准确性；担忧主要集中于增强内容可能遗漏或误导患者以及信息过多可能造成困惑。"错误分析"：通过临床审查发现GPT-4在乳腺癌临床记录增强情境下可产生误导性错误，共识别82个错误，其中28个（34%）被视为可能有害和误导，但轻微错误最常见，尤其是假定情境类错误，多数错误出现在真实记录的增强内容中而合成记录仅出现一个错误；自动化分析显示所有增强内容的词典词汇百分比均高于对照，简化增强的Flesch-Kincaid年级水平较对照下降，而定义增强的年级水平上升。"有限GPT-5.5错误分析"：通过对GPT-5.5结果的有限错误分析与自动化评估得出，其在自动化可读性指标、错误数量与严重程度以及LLM-as-a-judge自动发现错误的能力方面均有改善，但临床审查仍属必要，且GPT-4的错误在GPT-5.5中虽被解决但引入了新的错误。
讨论部分总结：在这项包含人工与自动化错误分析、定量调查和定性访谈的混合方法研究中，研究人员展示了LLM可用于改善临床记录理解的初步可喜结果，参与者在行动导向内容问题上表现更好，并报告了自我感知的理解与信心提升。对脆弱人群（受教育程度较低及非白人参与者）的探索性亚组分析显示获益持续存在，LLM改善记录可读性可能成为机构多样性、公平性与包容性工作的重要工具。通过临床审查，研究人员发现并刻画了错误模式，表明在LLM作为独立患者端工具部署前仍需改进准确性：真实捐赠记录增强中的错误比精心撰写的合成记录更常见，提示真实世界部署仍会受原始记录质量影响；GPT-5增强中错误更少但包括潜在有害错误仍然存在；LLM-as-a-judge可揭示潜在问题，但最终判定仍需临床医生判断；幻觉错误虽较少见，但患者信任仍受所识别错误影响。研究还指出，记录增强的准确性受限于底层记录本身，LLM可能放大已有的文档错误与偏差；患者偏好提供医学定义和简化现有文档的增强内容；数据安全与患者隐私是临床应用的关键考量，受保护健康信息（PHI）只能在适当保障（如业务关联协议BAA）下用于商业模型；自主性与AI过度依赖亦是部署前需考虑的重要伦理问题。研究局限性包括：真实记录数量有限，合成记录可能较真实记录更简单且变异更小；参与者可能不代表所有潜在用户，存在选择偏倚；未与人工生成的增强内容进行比较；未来需开展更大规模、更多样化队列的前瞻性评估，并探索改进界面设计、额外提示工程或代理系统以生成针对患者准备度、教育水平或偏好语言定制的增强内容。研究结论翻译如下：在这项混合方法研究中，包含人工与自动化错误分析、定量调查和定性访谈，研究人员展示了LLM可用于改善临床记录理解的初步可喜结果。与对照相比，可使用增强内容的参与者在自我报告的信心方面更高，在理解性问题上得分也更高。访谈参与者描述了易用性和对记录理解方面的感知改善，但也报告了对LLMs的担忧。临床医生的错误分析发现大多数错误为轻微错误且与假定情境相关。研究结果表明，LLM-based医学文本增强具有前景，但鉴于患者偏好和错误的存在，不宜在未经以患者为中心的混合方法评估和以临床医生为中心的错误分析的情况下部署。
