编辑推荐:
在卫生经济与结局研究(HEOR)中,传统任务耗时耗力。研究人员开展了关于生成式人工智能(GenAI)在 HEOR 中应用的研究。结果显示 GenAI 能提升效率,但也存在局限性。该研究为 GenAI 在 HEOR 的应用提供指引,意义重大。
在当今科技飞速发展的时代,卫生经济与结局研究(HEOR)对于优化医疗资源配置、制定科学的医疗政策起着至关重要的作用。然而,传统的 HEOR 任务,如文献综述、数据提取和经济建模等,往往既耗时又费力,如同在荆棘丛中艰难前行,效率低下。随着人工智能技术的兴起,生成式人工智能(GenAI)的出现为解决这些难题带来了新的曙光。为了探索 GenAI 在 HEOR 领域的巨大潜力,来自 Estima Scientific 以及 Bristol Myers Squibb 等机构的研究人员开展了深入研究。他们的研究成果发表在《PharmacoEconomics - Open》上,为该领域的发展指明了新的方向。
研究人员在研究中主要运用了大语言模型(LLMs)这一关键技术。通过与多种 LLMs 进行交互实验,包括利用聊天机器人界面初步探索其功能,以及借助应用程序编程接口(API)实现更复杂的任务操作 。同时,采用提示工程技术,如少样本提示和思维链提示等,来优化 LLMs 的输出结果;还引入了检索增强生成(RAG)技术,以提升模型获取外部准确信息的能力,从而提高分析的准确性。
研究结果
- LLMs 在 HEOR 中的应用方式:对于刚接触 GenAI 技术的卫生经济学家而言,聊天机器人界面(如 ChatGPT、Claude 等)是探索 LLMs 的便捷途径,可用于简单的任务,如文献总结、摘要筛选等 。但在处理复杂或大规模项目时,API 更具优势,它能实现程序对 LLM 功能的直接访问,便于集成到自定义应用和工作流程中,提升数据处理的可扩展性和功能的多样性。
- LLMs 在 HEOR 中的优势:LLMs 在 HEOR 任务中展现出诸多潜力。在文献总结方面,它能高效地提炼医学文献中的关键信息;在数据提取上,可精准地从临床试验文档中提取结构化数据,如 PICO(人群、干预、对照、结局)元素;还能辅助撰写 HEOR 报告的部分内容,生成统计分析和经济建模的代码;并且在回答特定问题和审核材料质量上也有出色表现,可作为额外的审核者提升材料质量。
- LLMs 的局限性及应对策略:LLMs 也存在明显的局限性,其中 “幻觉” 现象较为突出,即可能生成不准确或误导性的信息,这主要源于其训练数据的不完整或不准确。此外,LLMs 缺乏对复杂概念的真正理解,自主解决问题的能力还有待提高。为解决这些问题,研究人员推荐采用检索增强生成(RAG)技术,使模型能从外部可靠来源获取事实信息;同时,运用高级提示工程技术,如少样本提示和思维链提示,结合人工审核,以此提高模型输出的准确性和可靠性。
- 安全与风险相关研究结果:在 HEOR 领域应用 LLMs 时,数据安全和合规性至关重要。研究提出了多种安全部署和交互方式,如本地部署可确保敏感信息不离开组织内部,但对模型的选择有限,且需要专业的运维和安全团队支持;使用受信任提供商的 API 能获得强大的安全保障和最新的模型,但存在数据使用风险和成本问题;下载并在云服务器上托管开源 API,综合了开源模型和托管解决方案的优势,但也面临着安全和运维方面的挑战。若缺乏相应的安全措施,使用公共聊天机器人和 API 处理敏感数据会带来严重的数据泄露风险。
- 可重复性、透明度和报告:由于 LLMs 的 “黑箱” 性质,在 HEOR 研究中确保可重复性、透明度和准确报告面临挑战。研究建议明确报告所使用的 LLM 版本、提示技术,以及与既定标准或人类基准相比的模型表现,以此提高研究结果的可信度和可重复性。
- 验证和重复性策略:为提高 LLMs 输出结果的验证和重复性,研究人员提出了多种策略。例如,调整模型的温度参数,较低的温度设置可使输出更具确定性和一致性;采用自一致性方法,生成多个输出并选择最具代表性的结果;设置随机种子,确保模型在不同运行中的 “随机” 行为一致;使用不同的 LLMs 进行同一任务并对比结果;根据任务选择合适的 LLM 并结合有效的提示策略等。
- 伦理考量:在 HEOR 中使用 AI(包括 LLMs)引发了复杂的伦理问题。责任界定模糊,例如当 LLM 给出错误的治疗建议时,难以确定责任主体。同时存在现状偏差和风险校准错误,人们往往高估新技术风险而低估传统做法风险。LLMs 还可能存在潜在偏差,影响临床和成本效益分析结果。此外,模型训练数据的知识产权问题也有待解决。研究建议在使用 LLMs 时采用人在回路的方法,保持警惕并进行预测试和基准测试,以降低伦理风险。
- 未来展望:随着 LLMs 和其他 AI 技术的不断发展,在 HEOR 领域展现出广阔的应用前景。例如,有望开发 “动态” 的 HEOR 材料,实时整合新数据,为决策提供最新依据;助力患者赋能,将复杂分析转化为通俗易懂的信息,促进患者参与医疗决策;提升分析效率,加速研究进程,支持更及时的药物获取决策。但在发展过程中,也需要解决数据所有权、偏差、安全性等诸多挑战。
研究表明,GenAI 在 HEOR 领域具有巨大的应用潜力,能够显著提升研究效率,优化医疗资源配置决策。然而,其应用也面临着诸多挑战,如数据安全、模型准确性、伦理问题等。未来,需要进一步探索最佳实践,制定合理的方法标准和伦理框架,确保 GenAI 在 HEOR 领域的应用既能发挥最大价值,又能保障研究的科学性、可靠性和公正性,最终造福广大患者。