零样本大语言模型驱动的可解释医生排序框架

《IEEE Transactions on Big Data》：A Zero-Shot Explainable Doctor Ranking Framework with Large Language Models

　　

摘要：在线医疗服务为患者提供了便捷的医生访问途径，但根据特定医疗需求有效排序医生仍具挑战性。现有排序方法通常缺乏对患者信任和知情决策至关重要的可解释性。此外，用于监督学习的标准化基准和标注数据的稀缺阻碍了专业知识感知的医生排序的进展。为应对这些挑战，研究人员提出了一种由大语言模型（LLMs）驱动的零样本可解释医生排序框架。该框架动态生成疾病特定的排序标准，以指导LLMs透明且一致地评估医生相关性。通过生成逐步推理过程来解释其排序决策，该框架进一步增强可解释性，提升信息检索过程的整体可解释性。为支持严格评估，研究人员构建并发布了DrRank——一个新颖的基于专业知识的基准数据集，包含38个疾病-治疗对和4325份医生档案。在该基准上，该框架以+6.45 NDCG@10的绝对优势显著优于最强基线模型。综合分析还表明，该框架在疾病类型、患者性别和地理区域上具有公平性。此外，医学专家的验证确认了该方法的可靠性和可解释性，强化了其在真实世界可信医生推荐中的潜力。为展示更广泛的适用性，研究人员在BEIR基准的两个数据集上验证了该框架，同样取得了优越性能。代码及相关数据可在以下网址获取：https://github.com/YangLab-BUPT/DrRank。

**论文解读：零样本可解释医生排序框架**

**1. 研究背景与核心问题**

随着互联网医疗的快速发展，患者跨区域获取诊疗服务的便捷性显著提升，但如何从海量医生信息中有效筛选并排序出符合自身医疗需求的医生，成为亟待解决的关键问题。现有医生排序研究面临诸多挑战。早期方法依赖接诊量、患者评价等简单统计指标，难以准确反映医生的真实专业水平，导致排序结果欠佳。较新的方法引入机器学习技术以提升精度，但这类模型通常依赖大规模监督标注数据进行训练，而医疗领域专家标注成本极高，有效标注数据获取困难。部分研究尝试采用咨询是否完成、医生是否回复等代理目标构建监督信号，但此类启发式信号往往引入偏差，偏离专业胜任力核心，影响排序结果的可靠性。更为关键的是，现有方法普遍忽视医生排序的可解释性，而透明和可理解的决策过程对于建立患者对推荐系统的信任至关重要。尽管一些商业化平台（如好大夫在线）发布了分科室的医生排名，但并未公开其内部排序机制，这在高风险医疗场景下难以赢得患者信服。

**2. 研究动机与核心思路**

大语言模型（LLMs）凭借在大规模文本数据上的预训练，展现出强大的基于提示的文本排序能力和泛化性能，并内化了丰富的医学知识，使其非常适合处理数据稀缺环境下的医生排序任务。为此，研究人员提出了一种基于LLMs的零样本可解释医生排序框架，旨在无需大规模标注训练数据的前提下，根据患者具体的疾病-治疗需求对医生进行精准、公平且可解释的排序。

**3. 主要研究方法**

该研究采用了以下主要关键技术方法：
（1）**点式排序策略**：鉴于成对式可比较排序方法存在O(N2)的计算复杂度和位置偏差问题，列表式排序方法的滑动窗口难以并行化，该框架采用点式排序，对每个医生档案独立评分，具备高并行性和分数稳定性；
（2）**细粒度相关性评估**：采用“Top”、“High”、“Mid”、“Low”和“NR”五级分级标签，基于LLMs输出的各标签逻辑值（logits），通过Softmax转换得到边际概率并计算期望分数，增强对不同专业知识水平的区分能力；
（3）**强制引出机制**：通过在提示末尾附加固定语义前缀（如“该候选医生的专业相关性为”），约束模型输出空间，确保首字符精确落入预定义标签集，以便稳定提取logits并提升一致性；
（4）**动态生成排序标准**：设计专门提示，针对特定疾病-治疗对生成结构化的领域特定排序标准，作为统一透明的评估指南，增强一致性和准确性；
（5）**生成排序理由**：在得到预测标签后，再次利用强制引出机制生成逐步的自然语言解释，阐明排序判定依据。

**4. 数据集构建**

为支持严格评估，研究人员构建并发布了DrRank基准数据集。其构建过程包括：从好大夫在线平台收集超过600,000份包含9个字段（标题、专业、隶属机构、科室、简介、专长、社会服务、奖项、科研）的医生档案；选取23种癌症和7种其他重大疾病及其典型治疗方案，构成38个疾病-治疗对；由来自北京协和医院（中国综合评估持续排名最高的医院）的临床专家团队进行标注，每个疾病-治疗对由两位相关领域专家独立评分（0-5分，对应从无关到顶尖专家的六个层级），分歧时由第三名专家裁决；通过困难负样本挖掘，平衡正负样本比例并提升数据集复杂性，最终包含4325份医生档案（2593位独特医生）。

**5. 研究结果与发现**

**5.1 零样本排序性能**
实验结果表明，参数量超过70亿的Qwen2.5系列模型在NDCG@10和Recall@10指标上持续优于所有基线模型（包括双编码器如bge-m3、e5-mistral-7b-instruct和交叉编码器如jina-reranker-v2-base、bge-reranker-v2-m3等）。其中，Qwen2.5-32B-Instruct模型取得最优性能，NDCG@10达到77.41。引入动态生成的排序标准能显著提升中大规模模型的性能，但随机插入的无关标准则产生负面影响，证实了排序标准语义相关性的关键作用。针对医学领域优化的大语言模型Baichuan-M1-14B-Instruct在加入排序标准后NDCG@10从71.93提升至74.67（相对提升+3.81%），显示了领域知识增强排序标准的潜力。

**5.2 直观分数分布**
通过分组分析不同真实相关性标签对应的预测边际概率分布，研究发现随着真实相关性的增加，“NR”、“Low”、“Mid”标签的概率分布向0移动，而“Top”标签的概率分布向1移动，直观揭示了细粒度标签点式排序器的工作原理。

**5.3 讨论部分要点**
**5.3.1 相关性标签数量**：增加细粒度标签数量可提升模型性能，这与DrRank数据集的精细分级特性一致。
**5.3.2 排序分数推导策略**：比较了期望求和（SUM）、最高分数标签logit（MAXlogit）和最高分数标签边际概率（MAXprob）三种策略，性能波动较小，表明排序性能提升不能简单归因于期望求和法。
**5.3.3 公平性考量**：该框架在疾病类型公平性（标准差SD分别从0.0689降至0.0672）和患者性别公平性（男女患者NDCG@10差异小于1.3）上优于基线模型（bge-reranker-v2-m3性别间差异达3.50）；区域公平性方面，所有模型表现相当。
**5.3.4 可解释性考量**：经五名医学专家评估，生成的排序标准和评估理由在流畅性、专业性和合理性方面均获高分，验证了框架的可解释性。
**5.3.5 低比特量化部署**：采用AWQ量化方法，GPU内存占用从29.85 GB降至19.35 GB（减少35.2%），NDCG@10仅从77.41轻微降至76.95，证明其在资源受限环境下的部署潜力。
**5.3.6 鲁棒性与泛化性**：在BEIR基准的trec-covid（科学文献检索）和touche2020（论点检索）数据集上，该框架即便不含排序标准也显著优于bge-reranker-v2-m3基线，加入标准后性能进一步提升，证实了其作为通用排序框架的鲁棒性和泛化能力。

**5.4 局限性**
该框架目前主要侧重专业相关性排序，未考虑医生可用性、号源配额、患者保险覆盖及平台实时状态等实际应用约束；同时可能加剧患者分布不均衡，即顶尖医生持续获得高相关性得分导致推荐过载。

**6. 案例研究**

研究通过肺癌手术案例对比了两位胸外科医生：专家标注医生B的相关性为5（最高），医生A经困难负样本挖掘标记为0。模型对二者均预测了高相关性并生成“Top”标签。分析发现，模型在医生A的案例中出现关键误判，因其核心专长集中于纵隔肿瘤和胸腺疾病，但模型过度强调其所在医院声望（中山医院）、国际交流经历和普胸外科成就，忽视了与肺癌手术的核心对齐信号。相反，医生B因具备开创性微创肺癌手术、参与国家临床指南制定、大量高难度中央型肺癌手术经验等明确匹配信号，被正确识别。案例揭示了模型在复杂信息环境下的语义漂移问题，即强但次要的信号可能干扰疾病特定相关性的判断。研究人员提出利用医生发表论文的研究主题作为事后校准信号，以纠正模型偏差。

**7. 研究结论**

本研究提出了一种由大语言模型驱动的零样本可解释医生排序框架，有效应对了医学专家检索中数据稀缺、可解释性和专业知识对齐等关键挑战。该方法整合了细粒度点式相关性估计、动态排序标准生成和基于自然语言的解释，在新建的DrRank基准数据集上实现了强性能，同时确保了透明度和公平性。该框架在BEIR基准的两个数据集上的优异表现，进一步证实了其作为通用可解释排序框架的有效性。未来工作将聚焦于进一步利用领域特定医学知识（如学术出版物和临床记录）丰富排序过程，并探索将LLM框架与实际商业化医疗系统集成以确保实际应用可行性。

**研究结论翻译**：本研究提出了一种由大语言模型驱动的零样本、可解释的医生排序框架，旨在解决医学专家检索中数据稀缺、可解释性和专业知识对齐方面的关键挑战。该方法整合了细粒度点式相关性估计、动态排序标准生成和自然语言解释，在专业知识驱动的DrRank新基准数据集上取得了强劲性能，同时保证了透明度和公平性。此外，在BEIR基准的两个数据集上验证了该框架的稳健泛化能力，证实了其作为通用可解释排序框架的有效性。未来工作将致力于进一步利用领域特定的医学知识（如学术论文和临床记录）来丰富排序过程，并探索将基于LLM的框架与实际的商业医疗系统集成，以确保其实用性。