基于关键词优化的模板插入策略提升临床笔记分类效果的提示学习方法研究

本研究针对临床自然语言处理(NLP)中标注数据稀缺的挑战，开发了关键词优化模板插入方法(KOTI)，通过将提示模板精准定位至临床笔记的关键信息区域，显著提升了预训练语言模型在零样本和少样本场景下的分类性能。实验表明，KOTI使编码器模型GatorTron的F1值提升24%，为临床信息提取提供了高效解决方案。

　　

在电子健康记录(EHR)时代，临床笔记中蕴含的海量非结构化文本是挖掘患者信息的关键。然而，传统自然语言处理技术面临两大困境：专业标注成本高昂导致训练数据稀缺，且临床文本特有的"复制粘贴"现象造成关键信息分散。这些挑战使得常规微调方法难以发挥预训练语言模型(PLMs)的全部潜力。

来自Icahn School of Medicine at Mount Sinai等机构的研究团队在《BMC Medical Informatics and Decision Making》发表创新研究，提出关键词优化模板插入方法(KOTI)。该方法通过战略性地将提示模板定位在临床笔记的关键词附近，在零样本和少样本场景下显著提升分类性能。实验显示，KOTI使编码器模型GatorTron的F1值最高提升24%，为资源受限的临床场景提供了高效解决方案。

研究采用多模型对比实验设计，包含GatorTron、ClinicalBERT等编码器模型和BioGPT、ClinicalT5等解码器模型。通过定义任务特异性关键词库，在N2C2挑战赛数据集和自制痛经分类数据集上，系统比较了标准模板插入(STI)与KOTI的性能差异。技术核心在于：动态分割临床笔记为关键词前后片段，按比例截断以保留关键上下文，最终将模板插入关键词句附近。

【方法创新】
研究团队开发的关键词优化模板插入系统包含三大技术模块：(1)基于临床知识构建任务特异性关键词库；(2)通过句子级关键词匹配定位信息密集区域；(3)按长度比例截断非关键文本，确保模板与关键信息的空间邻近性。实验设置涵盖零样本、平衡少样本(1-10样本/类)和随机少样本(50-100样本)三种训练模式。

【主要结果】

1. 编码器模型的性能突破
   在零样本场景下，KOTI使GatorTron在周围血管疾病(PVD)分类任务中的F1值较标准方法(STI-k)提升37.4%。少样本实验中，采用4个平衡训练样本时，抑郁分类(Dep)任务获得26.3%的F1提升。

2. 模型架构的差异性响应
   编码器模型普遍受益于KOTI，其中GatorTron平均提升24.1%，而ClinicalBERT提升8.4%。解码器模型表现分化：BioGPT获得19%增益，但ClinicalT5反而下降17.9%，揭示架构对提示位置的敏感性差异。

3. 空间位置的剂量效应
   

   
   
   图示显示，当提示模板与关键词句距离超过±3句时，GatorTron的F1值下降达15%，证实临床信息的局部相关性特征。

4. 数据效率的经济价值
   在仅使用1个训练样本时，KOTI使痛经分类(Dys)任务的F1值达到0.807，接近传统方法100样本的效果(0.850)，实现百倍数据效率提升。

【结论与展望】
该研究首次系统论证了提示模板空间位置对临床文本分类的决定性影响。KOTI方法通过模拟临床文档的语义密度分布，在保持单次推理的低计算成本下，显著提升小样本场景的性能天花板。特别是对GatorTron等临床领域预训练模型，该方法解锁了其潜在表征能力。

研究同时揭示生成式模型的架构局限：当采用KOTI时，ClinicalT5因编码-解码流程中的信息流中断导致性能下降。这一发现为临床NLP模型选型提供了重要参考——在提示学习框架下，双向编码器可能比同体量生成式模型更具优势。未来工作可探索动态关键词权重、跨模态提示等方向，进一步释放临床文本的潜在价值。