基于知识蒸馏与隐式偏好的可解释中医处方推荐强化学习框架

《Chinese Medicine》：Reinforcement learning for LLM-based explainable TCM prescription recommendation with implicit preferences from small language models

本研究针对中医处方推荐系统在可解释性和准确性方面的挑战，提出了一种融合知识蒸馏与隐式偏好学习的创新框架。研究人员通过GPT-4o生成高质量推理样本指导Qwen2.5-7B模型进行监督微调，并利用轻量级BART模型构建偏好数据驱动DPO强化学习。实验结果表明，该模型在P@30和F1@30指标上分别达到35.62%和37.36%，较基线模型提升显著，有效平衡了处方推荐的准确性与可解释性，为构建可信赖的中医智能决策系统提供了技术支撑。

　　

在传统中医临床实践中，"辨证论治"始终是核心治疗原则，强调根据患者疾病不同阶段的证候变化进行个体化处方调整。随着临床病例数据的积累，如何从海量异构数据中提取符合中医理论且具有可解释性的处方推荐逻辑，成为中医智能化应用面临的关键挑战。

尽管大型语言模型在自然语言理解和生成任务中表现出色，但在中医领域的应用仍存在明显局限：首先，模型难以生成具备完整逻辑链条的处方解释，影响推荐结果的可信度；其次，监督训练目标单一，缺乏对"高质量处方"的明确引导；此外，强化学习策略缺乏稳定的奖励机制，导致临床性能提升不可靠。

为解决这些问题，研究团队开发了一种两阶段训练框架，将知识蒸馏驱动的监督微调与基于轻量级模型的隐式偏好强化学习相结合。该研究通过结构化解析中医临床病历，构建包含"症状分析-处方推荐-处方解释"三部分逻辑的推理样本，并利用轻量级模型输出作为隐式偏好信号，显著提升了处方推荐系统的准确性和可解释性。

研究方法主要采用以下关键技术：1）基于GPT-4o的知识蒸馏技术，生成高质量监督样本；2）Low-Rank Adaptation(LoRA)参数高效微调方法，适配Qwen2.5-7B模型；3）Bidirectional and Auto-Regressive Transformers(BART)模型构建症状-处方映射关系；4）Direct Preference Optimization(DPO)强化学习算法，基于隐式偏好进行模型对齐。实验数据来源于江苏省中医院等权威机构的3700例高质量中医临床病历，包含520种独特草药成分。

模型构建与基线比较

研究团队通过系统对比验证了所提方法的有效性。与Huatuo-o1:7B、ShenNong、Lingdan-PR等中医专用模型以及GPT-4o、DeepSeek等通用大模型相比，KD+DPO框架在P@5、R@30和F1@30指标上分别达到56.98%、39.29%和37.36%，显著优于所有基线模型。特别是在F1@30指标上，较最佳基线模型QWQ提升近24个百分点，体现了该方法在平衡准确性与覆盖率方面的优势。

同数据同设置对比

在公平实验设置下，Qwen2.5-7B和LLaMA3.1-8B经过知识蒸馏微调后，F1@30分别达到35.35%和34.47%，均优于SimCSE-kNN(32.97%)、TFIDF-kNN(32.27%)等非神经基线方法。这表明经过SFT微调的大模型在处方推荐任务上具有更显著的学习优势，同时验证了知识蒸馏策略的模型无关性和良好泛化能力。

处方排序方法比较

研究比较了君-臣-佐-使(SMAC-based)和频率排序两种策略。结果显示，在较小截断设置下频率排序更具优势，而在深度为30时两种方法无显著统计差异(p=0.505)。由于SMAC排序仅依赖GPT-4o分析可能存在不稳定因素，研究最终采用频率排序作为处方推荐标准。

知识蒸馏效果验证

知识蒸馏模型在截断阈值10和30时持续优于直接训练模型，表明蒸馏方法在捕获深层推理模式方面更具优势。在外部跨机构数据集测试中，知识蒸馏模型在P@30、F1@30和R@30上分别较直接训练模型提升1.63%、0.85%和1.15%，且统计检验结果显著(p<0.001)，证明其具有更优的泛化能力和跨领域迁移性。

隐式偏好强化学习

通过BART模型构建的隐式偏好数据为DPO训练提供了有效指导。Rewards Chosen样本在训练过程中保持较高奖励值，Rewards Margin稳定在相对较高水平，表明模型能够有效区分优质与劣质输出。最终KD+DPO模型在P@30、R@30和F1@30上较知识蒸馏单模型提升1.58%、2.51%和2.01%，且统计检验显著(p<0.001)。

参数敏感性分析

DPO缩放系数β的优化实验显示，当β=0.5时模型在多数指标上达到最佳性能，表明该参数值能在偏好对齐与泛化能力间取得良好平衡。数据规模实验进一步证实，使用100%偏好数据集时模型性能最优，说明大规模偏好数据有助于提升模型对齐效果。

案例分析与错误评估

通过典型临床案例对比发现，KD+DPO模型不仅生成完整的诊断推理链条，在处方推荐准确性方面也表现优异。专家评估显示模型平均得分为3.75(满分5)，主要错误集中在诊断与分析错误(65%)，其次为关键草药缺失(25%)和草药冗余(10%)，表明模型在证候定位和器官系统判断方面仍需改进。

研究结论表明，该两阶段训练框架有效解决了中医处方推荐中的可解释性与数据稀缺问题。知识蒸馏确保了模型输出的逻辑连贯性，而基于轻量级模型的隐式偏好学习则提升了推荐准确性。未来工作将聚焦于多源知识融合、多维偏好建模以及舌诊图像等多模态数据融合，进一步强化模型的临床适用性和泛化能力。

该研究的创新性在于：首次将知识蒸馏与隐式偏好学习相结合应用于中医处方推荐任务；简化了传统强化学习流程，通过DPO实现高效偏好对齐；利用轻量级模型缓解了中医领域人工标注数据稀缺的瓶颈。这些技术突破为构建可信赖的中医智能诊疗系统奠定了坚实基础，在中医教育辅助、临床决策支持等领域具有广阔应用前景。