麦迪逊客观自我评估工具（MOST）：一种用于显微血管吻合训练的新型可靠自评工具的开发与验证

《Neurosurgery Practice》：The Buttress Technique, A New Maneuver to Prevent Subsidence After Thoracic and Lumbar Corpectomy

本刊编辑推荐：该研究针对显微外科实验室训练中评估工具依赖专家、主观性强等痛点，开发了麦迪逊客观自我评估工具（MOST）。研究证实MOST在显微血管吻合训练中具有优异的评估者内（ICC>0.90）和评估者间（ICC 0.61-0.80）可靠性，且易于使用。该工具为资源有限地区（如LMICs）实现高质量、自驱动的显微外科技能培训提供了可行方案。

　　

背景与目的

显微神经外科的实践需要扎实的解剖学知识和在实验室环境中进行的显微外科技术训练，这对于成功的手术结果和推动外科专业发展至关重要。在各种显微外科训练模型中，显微血管吻合训练模型是发展手部灵巧度和提高显微镜放大下手眼协调能力的最基本、最易操作的模型。与任何显微外科实验室训练一样，显微血管吻合训练需要对结果进行评估，以确保学员在每次尝试中都能取得预期的技能提升。然而，现有的评估方法存在显著局限性，例如依赖专家评估者的可用性、缺乏对复杂昂贵设备的访问、以及当前评估方法（尤其是那些依赖李克特量表的方法）固有的主观性。这些限制阻碍了其在低中等收入国家（LMICs）以及高收入国家的许多机构中的应用。为解决这些局限性，研究团队开发了麦迪逊客观自我评估工具（MOST）。本研究旨在确立MOST的实用性和可靠性。

方法

MOST的建立

自2006年起，Baskaya显微血管旁路训练课程（BMBTC）一直在威斯康星大学麦迪逊分校显微神经外科实验室用于培训神经外科专业人员。2021年，第一作者对其进行了更新。此外，团队为学员在练习过程中确定了若干特定于练习的关注点（POI），这些POI主要源自该领域先驱建立的显微血管吻合技术基本原则。在初步经验基础上，为应对持续存在的挑战，团队于2022年3月决定基于已建立的POIs开发MOST。MOST为每个课程练习设定了具体的、客观的度量指标和参考范围，例如缝合针数、切口线可视性、缝合长度、缝合间隔、针头形状、时间管理等，并提供了详细的评分指南。

MOST可靠性的评估

八名学员（包括2名医学博士、1名神经外科住院医师、5名神经外科医生）完成了BMBTC的前三个部分，共包含9个不同的练习，总计31次尝试。其中6名学员在MOST指标建立之前已根据特定POI完成了训练并收集了最终产品。在基于先前POI建立MOST指标及其参考范围后，另有2名学员根据MOST指标完成了训练。每位学员记录了每次尝试的时间，并妥善保存最终产品和使用的针头以备后续评估。

学员使用新引入的MOST对其31个最终产品进行了两次评估。随后，同一位专家使用MOST对每位学员的最终产品进行了一次独立评估。使用组内相关系数（ICC）比较这三组评估结果，以确定新自我评估工具的评估者内和评估者间可靠性。ICC的解释标准为：<0.20差，0.21-0.40一般，0.41-0.60中等，0.61-0.80可接受，0.81-0.90很好，>0.90优秀。

结果

研究结果显示，除2个练习外，评估者内和评估者间的一致性水平从优秀（ICC >0.90）到可接受（ICC = 0.61-0.80）不等。具体而言，对于使用9-0缝线的2毫米硅胶管端端吻合，评估者间ICC显示一致性一般，为0.32 [?0.10至0.63]；对于使用10-0缝线的鸡血管侧侧吻合，评估者间ICC显示一致性中等，为0.52 [0.16-0.76]。这些结果强调了MOST的可靠性。此外，参与者的反馈突显了其易用性，评估每个最终产品仅需几分钟。

对个体指标的详细评估揭示了比较每个练习的第一个和最后一个最终产品时的显著改进。时间管理方面显示出最大的改进，而精确度相关技能如切口线可视性和结节质量也有明显提高。大多数结构完整性指标（如后壁卷入、针头形状）保持稳定，表明基线能力较高。相比之下，导致重叠的缝合有所恶化，强调了在这一复杂技能上需要进行针对性训练。

评估时间数据进一步突出了学习过程。学员在大多数练习中，从第一次到第二次尝试的评估时间显著减少，初始评估通常不到10分钟。专家评估则始终更快，反映了更高的熟练度。

Bland-Altman图显示，在大多数练习评估中未观察到系统性偏差，但在3个特定练习评估中存在偏差趋势，例如在7-0彭罗斯引流管连续缝合练习中，学员在自我评估中有系统性高估分数的倾向；而在鸡血管端端和端侧吻合练习中，则观察到学员系统性低估其分数的趋势。

讨论

显微外科训练评估的挑战

以往的评估工具大多需要专家评估并使用李克特量表，存在实践性和可持续性方面的局限。微血管吻合训练不应受时间和地点限制， mastery 技术需要持续长时间训练，使得专家评估不切实际。专家评估需要视频记录，增加了设置的复杂性和成本（超过1000美元）。此外，专家稀缺也凸显了对易于获取的客观自我评估工具的迫切需求。相比之下，MOST可以使用低至13.5美元的具有高质量光学元件的二手显微镜，并且可以在任何地方练习，无需专家评估和带有视频记录的昂贵设置。这种可负担性、灵活性和简单性使其成为LMICs的实用选择。

MOST的开发

开发MOST的主要目标是建立具体的、明确界定的、简单的目标指标，供学员评估自己的最终产品。通过将每个任务分解为其基本组成部分，并为每个部分建立清晰、有意义的标准，避免了李克特量表中非特异性和笼统的评分尺度。基于经验，团队认为必须只关注最终产品质量，这包含了练习课程的所有方面，包括器械操作、组织处理和针法。因此，专注于评估最终产品质量，确保学员可以在没有额外要求的情况下轻松进行评估。

MOST的可靠性

MOST展示了优秀至可接受的评估者内可靠性和相似的评估者间可靠性，但有两个明显例外。这些例外受到难以评估的指标（如“松散结数量”和“边缘重叠数量”）的影响，这些指标更主观且易变。提供更清晰的指南、关于评估这些指标的额外培训或纳入校准练习可能有助于减少可变性并提高可靠性。Bland-Altman图进一步突出了维持可靠性的挑战。尽管平均偏差接近于零，但这些趋势强调需要加强关于自我评估指标的培训，以帮助学员使其评估与专家评估保持一致。这种评估可变性凸显了准确自我评估的内在挑战。

MOST的实施

通过麦迪逊显微神经外科倡议，团队已在45个LMICs的85个中心推广显微外科实验室训练。MOST使得同事们在获得初步的线下、直播或现场支持后，能够独立练习和评估他们的技能。

局限性

本研究存在一些局限性。参与者规模较小（8名学员），限制了研究结果的普适性。八名学员中有六名在应用MOST之前基于POI完成了练习，并回顾性地使用该工具评估了他们的最终产品，缺乏尝试之间的即时反馈。本研究的主要目的是建立和评估MOST的可靠性，而非专注于展示学员表现的改善，因此未观察到统计学上显著的全程改善。由于MOST的独特设计和目的，未能针对完善的评估方法进行验证。

结论

本研究证明，MOST是一种可靠且易于使用的工具，用于显微血管吻合训练中的自我评估，在大多数练习中显示出高度的一致性，并为学员提供了用户友好的体验。这强调了其作为一种宝贵资源的适用性，特别是在无法获得专家评估的地方，实现自我驱动的显微血管吻合训练和评估。