《Journal of Surgical Research》:Rebuilding the Standardized Letter of Recommendation: A Consensus-Based Redesign of the Standardized Letter for Colon and Rectal Surgery
编辑推荐:
标准化推荐信(SLOR)在结直肠外科中的应用存在区分度不足、评分膨胀和叙述性偏见问题。本研究通过2025年春季对52位结直肠外科住院医师培训项目主任的调查,发现62%认为当前SLOR" somewhat useful",但主要担忧缺乏区分力、评价不一致及性别偏见。建议改进包括采用更合理的评分量表、结构化文本提示及明确的胜任力评估标准。修订版SLOR经试点测试后优化,旨在提升评估的公平性和实用性,为其他专科改进推荐信提供参考。
罗纳德·查尔斯 | 艾米丽·西蒙 | 迈克尔·瓦伦特 | 克里斯滕·韦斯特福尔 | 凯万·巴雷卡塔因 | 朱莉娅·萨拉伊达里斯 | 艾米丽·斯坦哈根
俄亥俄州克利夫兰大学医院外科系结直肠外科
摘要
引言
在结直肠外科领域,标准化推荐信(SLORs)已被采用,以减少偏见并提高申请者评估的一致性。尽管这些推荐信被广泛使用,但人们仍对其区分申请者的能力有限以及评分可能被夸大和存在叙述性偏见的问题表示担忧。本研究旨在了解项目负责人对现有SLOR的看法,并为开发改进的工具提供指导,以提高选拔过程的实用性、公平性和评估的有效性。
方法
2025年春季,通过美国结直肠外科项目主任邮件列表,向所有获得研究生医学教育认证委员会(Accreditation Council for Graduate Medical Education)认可的结直肠外科住院医师项目主任发放了一份需求评估调查问卷。问卷包括7个李克特量表问题(包含一个26项的评分矩阵)和5个开放式文本问题,用于评估他们对修订后SLOR应包含内容的满意度和看法。定量数据采用描述性统计方法进行分析;定性数据则进行了主题编码。结果在美国结直肠外科项目主任年会上进行了展示,并收集了反馈意见。随后,基于这些反馈创建了一份新的SLOR表格。
结果
共有52位项目主任参与了调查(参与率为70%)。虽然62%的人认为当前的SLOR有一定作用,但只有27%的人认为它非常有用。主要问题包括评分被夸大导致的区分度不足、过分夸张的叙述性评论以及不同机构间使用标准的不统一。临床判断(98%)、专业素养(93%)和人际交往能力(91%)被认为是最重要的评估领域。受访者对叙述性评论的价值看法不一,并指出当前“弱点”部分的设置毫无帮助甚至可能产生负面影响。改进建议包括采用更有意义的评分量表、设置字数限制的开放式文本提示以及更明确的评估标准。基于这些建议,对SLOR表格进行了试点测试和进一步完善。
结论
由于区分度不足和叙述内容不一致,结直肠外科项目主任对现有SLOR的满意度较低。通过收集用户反馈和最佳评估实践,开发了一份更新后的表格,以提高申请流程的清晰度、公平性和实用性。其有效性将在2025年的招聘周期实施后进行评估。这些发现可能为其他希望提升申请者评估全面性和公平性的专业领域提供改进建议。
引言
1,2推荐信在结直肠外科的申请者选拔和排名中起着极其重要的作用。3根据2024年国家住院医师招聘项目项目主任调查(National Residency Match Program Program Director Survey),所有专业领域的项目主任都将推荐信视为决定面试对象的第二重要因素,而在普通外科领域则是最重要的因素。4,5然而,有证据表明,推荐信中针对男性和女性的语言不同,以及对医学领域中传统上代表性不足群体的描述存在系统性偏见。6
许多培训项目采用了标准化推荐信(SLORs)来应对评估结果的可变性和评分夸大的问题。与传统叙述性推荐信相比,SLORs有望缓解这些问题。此外,SLORs还为推荐书写者和选拔委员会提供了统一的标准。自1997年急诊医学领域引入SLORs以来,包括耳鼻喉科、整形外科、骨科和移植外科在内的多个外科培训项目都已采纳了这一形式。自2016年起,结直肠外科也要求提交SLOR表格;不过,仍然常见附带叙述性推荐信的情况,或者叙述部分的篇幅较长,与传统推荐信相当。7,8一个持续的担忧是,许多SLOR无法有效区分申请者,因为评分范围大多仅限于最高等级。9,8此外,SLOR可能与申请材料中的其他客观数据缺乏相关性,这引发了对其可靠性的质疑。9有证据表明,叙述性推荐信无法准确预测住院医师入职后的表现,尽管这一点尚未针对SLOR进行过评估。10,112023年的定性评估显示,结直肠外科SLOR中仍然存在性别偏见,这种现象在其他外科领域(如移植外科和复杂普通外科培训项目)中也普遍存在。12, 13, 14, 15, 16虽然SLOR相比传统叙述性推荐信有所改进,但仍存在改进空间。17,18
本研究旨在了解结直肠外科住院医师申请者对现有SLOR格式的不满之处,并为设计更符合项目主任需求的改进工具提供依据。2024年的SLOR表格见附录A。改进后的SLOR将为项目主任提供更有价值的信息,同时提升申请者的公平性,从而提高推荐信在申请流程中的实用性。
方法
这一问题的提出源于美国结直肠外科项目主任年会(APDCRS)上的讨论。随后通过调查所有结直肠外科项目主任,进行了更正式的需求评估。
调查工具的制定和验证遵循了《互联网电子调查结果报告检查表》(Checklist for Reporting Results of Internet E-Surveys)和《基于共识的调查研究报告检查表》(Consensus Based Checklist for Reporting of Survey Studies)的标准。
结果
共有52位项目主任完成了调查,占所有74个研究生医学教育认证委员会(Accreditation Council for Graduate Medical Education)认可的结直肠外科住院医师项目的70%。
调查内容涉及对当前SLOR表格的评估以及项目主任在使用该表格选拔面试候选人时遇到的问题。当前表格同时使用了评分量表和叙述性评论。其中,62%的项目主任认为表格有一定作用;27%认为非常有用;10%的项目主任则认为其作用有限。
讨论
结直肠外科项目主任对现有SLOR的满意度一般。他们希望获得更具体的信息,以便有效区分申请者,尤其是关于弱点的可靠数据,以及对特定技术技能、临床判断力、专业素养和人际交往能力的详细信息。虽然之前的推荐信也涉及这些方面,但
致谢
作者感谢APDCRS的全体成员积极参与调查并提供宝贵反馈。APDCRS主席贝基·霍德玛(Becky Hoedema)给予了大力支持。此外,还要感谢APDCRS的行政人员简·威斯纽斯基(Jan Wisnewski)和克里斯塔尔·雅各布(Crystal Jacob)在调查分发和会议组织方面的协助。
披露
无相关披露内容。
资金支持
无资金支持。
作者贡献声明
罗纳德·查尔斯:撰写 – 审稿与编辑、初稿撰写、验证、项目管理、方法论设计、数据整理、概念构思。
艾米丽·西蒙:撰写 – 审稿与编辑、项目管理、方法论设计、数据分析、数据整理。
迈克尔·瓦伦特:撰写 – 审稿与编辑、验证、监督、项目管理、方法论设计、数据整理、概念构思。
克里斯滕·韦斯特福尔:撰写 – 审稿与编辑、数据分析。
凯万·巴雷卡塔因: