《European Radiology Experimental》:Fluent but not fail-safe: machine-translated radiology reports still need expert review
编辑推荐:
目的:跨境医疗、远程放射学和国际转诊路径日益需要放射学报告翻译,但孤立的误译可能改变临床含义。研究人员评估了德语到英语的放射学报告机器翻译,以及基于修正的需审查文本定位方法。材料与方法:在这项回顾性研究中,310份2025年6月至7月的去标识化德语放射学报告通
目的:跨境医疗、远程放射学和国际转诊路径日益需要放射学报告翻译,但孤立的误译可能改变临床含义。研究人员评估了德语到英语的放射学报告机器翻译,以及基于修正的需审查文本定位方法。材料与方法:在这项回顾性研究中,310份2025年6月至7月的去标识化德语放射学报告通过DeepL翻译成英语。八名放射科医生分配5分制质量评分并修正感知到的错误。三十份报告由全部八名读者审查,280份报告分配至单读者评估,共产生520次评估。研究测试了自动化指标和大语言模型评审器用于报告级别识别需要审查的翻译;在保留的共享报告上评估了基于修正的段级别编辑预测模型。结果:大多数翻译被评为良好或优秀(339/520,65.2%),但临床重要的误译涉及诊断、解剖和放射学术语。序数质量评分的一致性低(Krippendorff α=0.078,p=0.006),但专家修正的一致性高(配对双语评估替补–BLEU=83.0,p<0.001)。在30份共享报告的保守主要筛选中,没有自动化方法能区分需要审查的翻译(受试者工作特征曲线下面积[AUC]=0.51–0.65;p=0.100–0.920)。最终编辑预测模型对至少八名读者中六名编辑的段达到一致性指数0.697和AUC 0.731。结论:机器翻译的放射学报告平均而言通常可接受,但包含需要专家审查的错误的翻译持续存在。专家修正比序数质量评分更具可重复性,并支持定位需要人工审查的文本。
**研究背景、问题与研究目的**
放射学报告越来越多地因远程放射学、国际转诊路径、跨境医疗以及报告服务外包而跨越语言边界。在此类场景中,放射学发现、印象和建议的翻译可能对临床决策、随访规划和机构间沟通至关重要。机器翻译(machine translation, MT)和大语言模型(large language model, LLM)为放射学报告的文本转换提供了实际可行性,但放射学报告是密集的临床文档,包含领域特定术语、缩写、侧别标记、否定、不确定性和管理相关措辞,即使单一误译也可能改变诊断、解剖位置或随访紧急程度。已有研究探索了LLM用于生成患者沟通用简化报告、从自由文本卒中计算机断层扫描(CT)报告中提取结构化信息,以及根据临床影像指南解读脑CT转诊,这些工作显示基于LLM的文本转换可能支持放射学工作流,但同时也强调需要任务特定指令、专家评估和临床意义验证,而非仅依赖流畅输出。自动化质量评估在此场景仍具挑战:BLEU、chrF++、BERTScore和跨语言优化翻译评估指标(cross-lingual optimized metric for evaluation of translation, COMET)等常规MT指标主要捕捉整体相似性或平均质量,可能遗漏流畅报告中罕见但临床后果严重的错误;人类评估方面,序数质量评分容易收集但可能反映读者校准偏差和对文体变异的容忍度,而后期编辑修正可能更直接地识别专家认为需要在临床上或语言上改变的措辞。因此,未满足的需求不仅是确定机器翻译的放射学报告平均是否良好,更重要的是确定临床相关错误能否被识别和定位以支持安全工作流集成。研究人员开展此项研究,旨在通过放射科专家评审评估德语到英语机器翻译放射学报告的临床安全性,评估放射科医生的质量评分和后期编辑修正,检验用于识别需要审查翻译的自动化报告级方法,并测试基于修正的段级建模能否定位需要专家验证的文本。
**主要关键技术方法简述**
这项回顾性研究使用了来自海德堡大学医院机构审查委员会批准的310份去标识化德语放射学报告(2025年6月至7月,经报告长度分层随机抽样,涵盖十种影像模态),通过DeepL应用程序编程接口翻译为英语;八名放射科医生(两名主治医师、六名住院医师)对30份共享报告进行全读者评估、对280份报告单读者分配,共520次评估;报告级筛选评估了BLEU、chrF++、BERTScore、COMET-QE、两个无参考LLM评审器(Claude Sonnet 4和GPT-5.1)和平均编辑率;段级编辑预测采用重叠16-token与32-token窗口、多语言E5嵌入和多层感知器,经监督对比预训练、临床信息合成扰动和不适配负对增强;另对51个翻译系统配置进行上下文基准测试,以专家修正的DeepL输出为参考文本。
**研究结果**
**报告样本与专家评估**
研究纳入310份去标识化德语放射学报告,覆盖十种成像模态和多个身体区域,均使用DeepL翻译为英语。30份报告由全部八名放射科医生评估,280份随机分配至单读者评估,形成520次专家评估。共享报告保留用于多读者分析和保留段级测试,对应601个可分析的16-token段,为后续一致性和编辑预测分析提供了基础。
**翻译质量与临床重要误译**
大多数DeepL翻译被评为良好或优秀(339/520,65.2%),平均质量评分为3.73/5.0。但专家审查识别出涉及诊断、解剖和放射学术语的临床重要误译,代表性示例包括将“多发性硬化样改变”误译为“多发性硬化症”、将指间关节误译为跖趾关节、将白质改变误译为髓质改变。在共享报告中,读者经常修正相同的源错误,尽管个别修正的措辞有所不同,提示某些误译具有可识别的重复模式。
**读者一致性与上下文基准**
共享报告中序数质量评分的一致性低(Krippendorff α=0.078,p=0.006;组内相关系数=0.096),表明读者对同一翻译分配严重性分数存在显著变异;相比之下,专家修正的一致性高(配对BLEU=83.0,p<0.001),说明读者在需要改变的文本上更为一致。上下文基准的系统排名跨专家修正参考保持稳定:BLEU分数方差分解显示系统质量解释了99.5%的方差,Kendall和谐系数为0.997。专有LLM的参考基准点估计最高,GPT-5.1的BLEU为61.5,其次为Claude Sonnet 4和Claude Opus 4,但所有系统均低于读者间人类上限85.8。代表性系统的错误类别分析显示,缩写/首字母缩略词错误、术语错误、解剖/结构错误和诊断/发现错误为重复出现类别,侧别、否定/不确定性和随访/建议错误较少但仍被观察到。
**报告级别识别需要审查的翻译**
在保守主要筛查终点(至少一名读者评分≤2,18/30份共享报告为审查阳性)下,没有自动化方法能显著区分需要审查的翻译(AUC范围0.514–0.653;p范围0.100–0.920),置信区间较宽反映了共享报告分母有限。在更严格的敏感性分析(至少两名读者评分≤2,8/30份为阳性)中,常规指标和平均编辑率的区分能力仍有限(AUC范围0.500–0.636),但两个无参考LLM评审器显示中度区分能力(Claude Sonnet 4:AUC=0.790,p=0.005;GPT-5.1:AUC=0.773,p=0.015),提示当临床重要性定义需要更大读者共识时,LLM评审器可能捕捉到部分临床相关信号。
**段级编辑预测**
在保留的共享报告上,基线16-token编辑预测模型的一致性指数为0.639;加入监督对比预训练后提升至0.666,加入不适配增强后为0.682,最终模型结合跨尺度平均后达到0.697(95%置信区间:0.668–0.724;p<0.001)。最终模型对至少四名读者编辑的段AUC为0.749,对至少六名读者编辑的段AUC为0.731。预测编辑概率随多读者编辑共识增加而上升,段级Spearman相关为0.498(p<0.001)。报告级别上,BERTScore与平均质量评分(rho=0.588,p=0.001)和修改读者数(rho=-0.700,p<0.001)的相关幅度最大,但需要参考翻译;无参考LLM评审器评分和编辑预测模型也与修改读者数相关,而编辑预测模型额外提供了段级定位能力。
**讨论与结论**
本研究发现大多数德语到英语机器翻译的放射学报告获得较高评分,但专家审查发现涉及诊断、解剖和放射学术语的临床重要误译持续存在。序数质量评分的低读者间一致性与专家修正的高可重复性形成对比,表明修正比全局评分更直接地识别需要审查的文本。自动化方法在保守主要筛选中未能区分审查阳性报告,常规指标在更严格分析中仍显示有限区分度,而LLM评审器在严格分析中有中度表现但仍主要工作在报告级别。段级编辑预测模型作为研究阶段的审查优先级信号,为定位需要专家验证的文本提供了潜在方法。上下文基准显示专有LLM的参考基准点估计最高但均低于人类上限,且该基准以专家修正的DeepL输出为参考,应被理解为与临床修正的DeepL式翻译的相似性比较。研究局限性包括单一机构、单一高资源语言对、共享报告规模有限、终点基于专家评分而非患者结局,以及回顾性设计未验证前瞻性工作流影响。结论为:德语到英语机器翻译的放射学报告平均而言通常被评分良好,但包含需要专家审查的错误的翻译持续存在;专家修正比序数质量评分更可重复,并支持需要人工审查文本的段级定位;这些发现支持人在回路中的翻译监督而非完全自动化临床使用,前瞻性工作流研究需确定基于修正的定位能否提高放射学报告翻译的安全性和效率。