基于小语言模型的智能体框架实现自由文本胸部X射线报告的结构化

《International Journal of Computer Assisted Radiology and Surgery》：RadStructAgent: agentic structuring of free-text chest X-ray reports with small language models

　　

目的：胸部X射线（CXR）报告的可变性阻碍了放射学报告生成中视觉语言模型（VLMs）的训练与评估。研究人员此前的研究表明，结构化放射学报告生成（SRRG）风格的监督在基于VLM的CXR报告生成中优于自由文本监督。本研究在更大规模的多机构环境中检验这一发现，并解决一个关键预处理挑战：使用开源小语言模型（SLMs）实现可靠的自由文本到结构化报告转换。方法：研究人员在覆盖10所机构、97K样本的数据集上，使用自由文本和SRRG风格结构化监督评估Qwen2.5-VL-3B。随后提出RadStructAgent，一种使用SLMs将自由文本CXR报告转换为结构化报告的智能体框架，结合基于大语言模型（LLM）的编排、评判反馈和反馈引导的修订。RadStructAgent在1,000份自由文本CXR报告上使用Qwen3-4B和Qwen3-8B进行评估。结果：在报告生成任务中，结构化监督优于自由文本监督，Qwen2.5-VL-3B的GREEN从0.494提升至0.539，其他临床指标也有类似增益。在结构化任务中，RadStructAgent提升了临床质量（GREEN）和解剖层面分配（RadFAA）：Qwen3-4B从0.844提升至0.867、从0.883提升至0.891；Qwen3-8B从0.863提升至0.881、从0.889提升至0.902。结论：在更大规模多机构环境中评估时，结构化监督对基于VLM的CXR报告生成仍然有效。RadStructAgent表明，开源SLMs可通过智能体验证与精炼得到增强，为离线且隐私保护的结构化报告准备提供了一种资源高效的方法。研究人员代码、提示模板和配置文件已公开于：https://github.com/badhon1512/RadStructAgent。

医学报告生成（MRG）旨在从医学图像自动生成诊断报告，作为减轻放射科医师工作负担和改善临床工作流程效率的手段，已受到越来越多的关注。胸部X射线（CXR）报告是研究最广泛的MRG任务之一，因为常规临床实践中检查量巨大。尽管近期视觉语言模型（VLMs）在CXR报告生成方面取得了令人瞩目的进展，但其性能仍受限于放射学报告的异质性和非结构化性质。放射学报告在术语、写作风格、句子结构、报告偏好和解剖组织方面因机构而异。这种变异性使模型训练和评估均变得复杂。特别是，自由文本监督要求模型学习无关的语言变异，并使解剖层面的评估变得困难。结构化放射学报告生成（SRRG）通过使用语言模型将自由文本发现组织到预定义的解剖区域来解决这一局限。这实现了更一致的监督和解剖感知评估，但结构化输出的质量在很大程度上取决于用于结构化的大语言模型（LLM）的能力。在研究人员近期的工作中，研究人员研究了SRRG风格报告结构化及其对基于VLM的CXR报告生成下游任务的影响。结果表明，与传统的自由文本监督相比，结构化监督改善了VLM性能。本研究进一步在更大规模的多机构环境中检验这一发现的普适性。然而，结构化监督的更广泛应用依赖于一个关键预处理步骤：将自由文本报告可靠地转换为SRRG风格解剖章节。大规模准备结构化报告数据仍然具有挑战性，因为大多数CXR数据集仍以自由文本格式提供。SRRG-Benchmark表明，强专有大语言模型（LLMs），如Gemini，在结构化性能上显著优于SLMs。这些结果表明，在标准单次推理设置下，小模型实现高质量SRRG风格的自由文本报告结构化仍然困难。然而，专有模型由于成本、隐私问题、监管限制和对外部云服务的依赖，在机构使用中可能并不总是可行。此外，许多研究和临床环境可能仅有有限的计算资源来本地运行较大的语言模型。因此，仍然存在实际需求，即使用开源小语言模型（SLMs）改善结构化报告生成的可靠且计算高效的方法。因此，本研究的主要重点是使用开源SLMs改善自由文本CXR发现的SRRG风格结构化。为此，研究人员提出RadStructAgent，一种模型无关的智能体框架，用于自由文本CXR报告的SRRG风格结构化。它使用编排、评判反馈、顺序修订和候选选择来迭代改善结构化输出。RadStructAgent不依赖单次推理，而是迭代验证和精炼结构化输出，以提高临床忠实性和解剖一致性，同时保持适用于资源高效的离线报告结构化。总体而言，本文的贡献如下：研究人员使用更大规模的多机构数据集研究了SRRG风格结构化监督对基于VLM的CXR报告生成的普适性；研究人员引入RadStructAgent，一种用于SRRG风格放射学报告结构化的智能体框架，结合基于LLM的编排、LLM作为评判者的反馈、顺序修订、候选选择和停止控制；研究人员开源RadStructAgent流程，以便其他研究人员复现工作流程、调整提示并将其用于自由文本到结构化报告的转换。图1展示了RadStructAgent用于自由文本CXR报告SRRG风格结构化的概览。基础LLM从输入报告x生成初始候选y?，通过共享状态s_t、编排器决策O(s_t)、评判反馈、修订、候选选择和停止控制进行迭代精炼。框架输出最终结构化报告?。相关工作方面，自动医学报告生成已从早期CNN-RNN描述模型发展到基于Transformer的模型以及近期的多模态视觉语言方法。然而，许多系统仍依赖异质的自由文本监督和传统评估指标，限制了对临床正确性和解剖层面一致性的可靠评估。结构化报告长期以来被推广以提高放射学中的一致性、清晰度和临床沟通。它已从美国放射学会指南发展到RSNA RadLex和RadReport倡议以及欧洲放射学会白皮书。尽管有这些努力，结构化报告在常规实践中仍未得到充分使用。SRRG风格报告通过将CXR发现组织到预定义解剖区域来解决这一局限。这种结构支持一致报告表示、解剖感知评估和解剖层面数据分析。先前工作也研究了将自由文本报告转换为适合训练多模态模型进行图像到结构化报告生成任务的微调方法。然而，研究人员近期研究表明，较小的微调模型在发现章节仍存在困难，包括重复发现和错误解剖分配。因此，可靠的自由文本到结构化报告转换仍然是准备多模态模型训练结构化监督的开放挑战。智能体AI将LLMs扩展到具有规划、工具使用、记忆、反思和反馈的多步骤工作流程。在此类工作流程中，单个模型调用可在更广泛的推理和精炼过程中被分配专门角色。这促使使用开源SLMs用于不同的智能体功能。在医疗保健中，当专有云系统引发成本、隐私、透明度和数据治理方面的担忧时，此类模型也可能更可取。在放射学中，智能体AI已被讨论用于基于角色的智能体、检索、不确定性估计和迭代推理，包括幻觉风险。多智能体报告生成方法也使用专门智能体进行起草、精炼和最终综合，但目标是图像到报告生成。然而，现有工作尚未专门研究使用SLMs对自由文本CXR报告进行SRRG风格结构化的智能体工作流程。RadStructAgent通过引入一种使用SLMs验证和精炼SRRG风格结构化的智能体框架来填补这一空白。

方法方面，研究人员提出RadStructAgent，一种用于自由文本CXR发现SRRG风格结构化的智能体框架。给定输入报告x，基础LLM结构化器M首先生成初始结构化候选y?。然后通过共享状态s_t、LLM编排器O、提示引导的LLM工具（包括评判者J_f、J_a、修订R、候选记忆C_t和停止控制）对候选进行迭代验证和精炼，如图1所示。在迭代t时，共享状态s_t存储当前候选、评判反馈、每个评判者是否已评估当前候选、候选历史、工具调用计数、修订计数和剩余预算。编排器O读取s_t并选择下一动作，可调用发现评判、解剖评判、修订、候选选择或最终化。所有模块使用角色特定提示，实现专门的结构化、编排、评判、修订和候选选择。初始结构化和共享状态方面，设x表示输入自由文本发现章节。基础LLM结构化器M使用结构化提示P_s生成初始SRRG风格候选y?：y? = M(P_s(x))。该提示指示模型将发现组织到预定义解剖章节，包括肺与气道、胸膜、心血管、肺门与纵隔、管、导管和支持设备、肌肉骨骼和胸壁、腹部及其他。初始候选存储在候选记忆中：C? = {y?}。智能体循环由共享状态控制：s_t = {y_t, F_t, A_t, ρ_f(y_t), ρ_a(y_t), C_t, n_t, r_t, b_t}，其中y_t是当前候选，F_t是发现级反馈，A_t是解剖级反馈，ρ_f(y_t)和ρ_a(y_t)指示发现评判者和解剖评判者是否已评估当前候选，C_t是候选集，n_t是工具调用数，r_t是修订轮数，b_t是剩余预算。共享状态提供循环的紧凑记忆，使所有决策、修订和停止事件可追溯。编排和动作空间方面，编排器O是基于LLM的控制器，从当前状态选择下一动作：u_t = O(s_t)，u_t ∈ U。研究人员定义动作空间为：U = {u_f, u_a, u_r, u_s, u_final}，其中u_f、u_a、u_r、u_s和u_final分别表示发现评判、解剖评判、修订、候选选择和最终化。编排器返回包含所选动作、推理和确定性分数的JSON格式决策。无效动作、格式错误的JSON输出或违反预算的决策使用保守回退规则处理，如继续验证、选择最佳可用候选或最终化当前报告。LLM工具方面，RadStructAgent使用互补LLM工具评估和改善当前候选。发现评判者J_f(·)评估结构化报告是否保留源自由文本报告的临床内容：F_t = J_f(x, y_t)，其中F_t包含缺失发现和不支持发现。缺失发现是x中存在但y_t中缺失的观察，而不支持发现是源自由文本报告不支持的生成陈述（幻觉）。解剖评判者J_a(·)评估解剖放置和重复内容：A_t = J_a(y_t)，其中A_t包含关于错误章节和重复发现的反馈。错误章节发现是放置在y_t中不正确解剖章节下的陈述，而重复发现是出现在多个章节中的重复陈述。两个评判者返回结构化JSON反馈，被解析并写入共享状态。当选择修订时，框架顺序应用反馈引导的修订，而非在单次修订调用中组合所有反馈。如果发现级反馈可用，修订智能体首先使用源报告和F_t更新当前候选：y_t^(f) = R_f(x, y_t, F_t)。如果解剖级反馈可用，解剖修订智能体然后使用A_t更新中间候选：y_{t+1} = R_a(y_t^(f), A_t)。如果仅一种反馈类型可用，则仅应用相应修订步骤。这种顺序设计允许框架首先纠正缺失或不支持的临床内容，然后纠正解剖放置或重复发现。修订后的候选被添加到记忆：C_{t+1} = C_t ∪ {y_{t+1}}。当编排器调用候选选择时，选择器S从候选记忆中选择最终结构化报告。它选择与源自由文本报告x最对齐的候选，考虑源支持内容、解剖放置、重复发现和简洁性：? = S(x, C_t)。如果候选选择不可用或无效，框架回退到当前候选。停止控制方面，在每次新编排器决策之前，共享状态总结当前候选是否已由发现和解剖评判者评估，以及是否有任何发现级或解剖级反馈仍然存在。当编排器选择最终化、候选选择器从记忆返回最佳报告、达到最大工具调用或修订预算、或修订产生空或未改变候选时，循环停止。这些保障措施保持推理计算有界并防止不必要的精炼。

实验设置方面，数据集和任务使用ReXGradient-160K，一个公开的多机构CXR数据集，包含图像-报告对。由于发现章节包含主要解剖和病理观察，所有实验聚焦于该章节。研究人员进行两项实验。第一，通过使用自由文本或SRRG风格报告微调Qwen2.5-VL-3B，评估基于VLM报告生成的结构化监督。该实验使用来自10所机构的97K样本，分为80%训练、10%验证和10%测试集。划分在各机构内独立进行，以保持所有十所机构在训练、验证和测试集中的代表性。结构化报告取自研究人员先前未发表的工作，其中Gemini被用于将自由文本报告转换为SRRG风格报告。第二，研究人员在跨机构采样的1,000份发现报告上评估RadStructAgent的自由文本到结构化报告转换。这与研究人员先前SRRG-Benchmark研究中使用的评估集相同，可与专有参考模型进行比较。基线和模型方面，对于结构化任务，研究人员将RadStructAgent与单次推理进行比较。在单次设置中，相同模型使用包含一个演示示例的结构化提示，在单次生成步骤中将输入发现章节直接转换为最终SRRG风格报告，无需迭代验证或精炼。在智能体设置中，相同模型首先使用相同提示生成初始结构化报告，然后通过评判反馈、修订、候选选择和停止控制进行迭代评估和精炼。研究人员评估Qwen3-4B作为主要SLM，Qwen3-8B作为同一家族的附加模型。单次和智能体设置使用相同模型检查点、结构化提示和本地推理配置。对于智能体推理，两个模型使用相同动作空间、停止规则和候选选择机制。实现细节方面，对于下游VLM实验，研究人员遵循先前研究的微调协议，同时将评估扩展到更大规模的多机构数据集。Qwen2.5-VL-3B在配对的CXR图像上使用自由文本报告或SRRG风格结构化报告进行微调。两种设置使用相同数据划分、模型配置和评估流程。RadStructAgent在Python中实现，无需外部智能体框架。这允许对状态管理、工具执行、回退处理、候选记忆、停止控制和追踪日志进行显式控制。对于所有智能体实验，所有RadStructAgent组件使用相同的底层模型检查点，而每个组件被分配不同的角色特定提示。因此，初始结构化器M、编排器O、发现评判者J_f、解剖评判者J_a、修订智能体R_f和R_a以及候选选择器S共享相同模型，但通过各自提示执行不同功能。所有RadStructAgent实验使用一个NVIDIA A100 GPU，40 GB内存。模型推理通过vLLM使用OpenAI兼容的本地API提供，具有32,768令牌上下文长度、0.90 GPU内存利用率、4位bitsandbytes量化、一个工作器和温度设为0.0的确定性解码。此推理设置不同于研究人员先前SRRG-Benchmark研究中的开源评估。两项研究使用相同的底层结构化提示和演示示例，仅在系统提示上有微小差异。先前研究遵循相应Hugging Face模型卡推荐的生成设置，而本研究使用温度设为0.0的确定性解码和4位vLLM推理，以提高可复现性并实现资源高效的本地执行。这些变化可改变生成的报告并因此改变所得指标分数，即使使用相同评估集。因此，两项研究间的绝对开源分数不能直接比较。本研究的主要比较是在相同检查点和本地推理配置下单次与智能体推理之间的比较，而专有基准结果仅作为参考纳入。表1展示了Qwen2.5-VL-3B-Instruct使用自由文本和SRRG风格结构化报告在来自10所机构的组合测试集（N=9,656）上的性能比较。数值报告带有从50,000次报告级bootstrap重采样获得的95%置信区间。↑ = 越高越好；粗体值表示自由文本和SRRG监督之间的较好结果。每份报告最多处理20次工具调用和10轮修订，启用候选选择。实现和提示公开于RadStructAgent。评估指标方面，由于小的措辞变化可改变临床意义，表面级相似性指标不足以评估医学报告。研究人员使用RADEVAL框架中实现的医学报告评估指标评估两项实验。GREEN用作临床报告质量的主要指标。RadFAA用作解剖层面分配和结构化报告质量的次要指标。F1-SRR-BERT、CRIMSON和RaTEScore作为补充指标报告。对于基于VLM的报告生成，所有模型输出针对相应CXR图像的原始自由文本参考报告进行评估。这确保跨监督设置的一致参考。评估前，SRRG风格输出通过去除解剖章节标题和额外换行转换为纯自由文本。对于报告结构化任务，每份结构化报告针对其相应源自由文本报告进行评估，遵循研究人员先前SRRG-Benchmark研究中使用的设置。

结果与讨论方面，基于VLM报告生成的结构化监督中，表1报告了Qwen2.5-VL-3B使用自由文本和SRRG风格结构化报告微调的性能。结构化监督改善了大多数临床指标。GREEN从0.494提升至0.539，F1-SRR-BERT从0.489提升至0.533，CRIMSON从0.447提升至0.457，而RaTEScore保持不变为0.608。为评估跨机构一致性，图2展示了带有95%置信区间的站点级结果。对于主要指标GREEN，SRRG监督在所有十所机构中均改善性能。图2展示了十所评估站点自由文本和SRRG监督的机构级比较。点显示观察分数，水平条表示从50,000次报告级bootstrap重采样估计的95%置信区间。这些结果表明，SRRG风格监督在更大规模多机构环境中仍然有益。基于LLM的临床指标（GREEN和CRIMSON）和疾病分类指标F1-SRR-BERT的改善表明结构化监督下临床报告准确性更好，可能由于结构化报告提供的更稳定监督信号。尽管RaTEScore保持不变，表明相似的嵌入级相似性，但临床和疾病分类指标的增益表明临床准确性改善。这促使可靠的自由文本到结构化报告转换用于可扩展结构化数据集准备。RadStructAgent结构化性能方面，表2总结了专有参考、单次基线和RadStructAgent的结构化性能。对于Qwen3-4B，RadStructAgent将GREEN从0.844提升至0.867，RadFAA从0.883提升至0.891。对于Qwen3-8B，GREEN从0.863提升至0.881，RadFAA从0.889提升至0.902。补充指标遵循相同趋势，智能体推理下分数更高。尽管开源模型在若干指标上仍低于最强专有参考，但RadStructAgent改善了单次性能并帮助缩小这一差距。由于两种设置使用相同检查点、提示和推理配置，增益反映智能体工作流程。GREEN的改善表明整体临床报告质量更好，包括更强保留源发现和更少不支持发现。RadFAA的改善表明解剖层面分配更好，表明发现更一致地放置在适当结构化章节中。通过减少缺失发现、不支持陈述、重复内容和错误解剖标签等错误，RadStructAgent支持更一致的结构化数据集准备。编排器行为和运行时权衡方面，图3总结了RadStructAgent精炼循环的行为。修订轮分布显示大多数报告仅需少量修订，表明框架根据每个案例调整精炼量。停止原因分析显示，评判者批准的最终化在Qwen3-4B案例中占87%，在Qwen3-8B案例中占81%。其余案例通过受控回退路径终止，包括未改变修订、预算限制或从记忆中选择候选。图3展示了RadStructAgent在1,000份报告评估集上的循环行为。左图显示修订轮分布，右图显示编排器停止原因。结果总结了框架如何跨报告调整精炼和终止决策。这些结果表明RadStructAgent不依赖固定迭代次数。相反，它通常在评判者批准后最终化候选，而更困难的案例在修订不再改变输出、达到预算或从记忆中选择最佳候选时停止。图4比较了单次推理和RadStructAgent之间的运行时和质量。对于Qwen3-4B，每份报告平均时间从0.7秒增加至6.7秒，而GREEN从0.844提升至0.867，RadFAA从0.883提升至0.891。对于Qwen3-8B，每份报告平均时间从1.0秒增加至13.2秒，而GREEN从0.863提升至0.881，RadFAA从0.889提升至0.902。尽管智能体工作流程因多次LLM调用增加推理时间，但结构化报告准备通常是一次性离线预处理步骤。因此，当改善报告质量和解剖一致性用于数据集构建时，额外成本是可接受的。图4展示了单次结构化和RadStructAgent之间的运行时和质量权衡。左图显示每份报告平均推理时间（秒），中图和右图分别显示由GREEN测量的临床报告质量和由RadFAA测量的解剖层面分配质量。消融分析方面，表3报告了从单次推理到完整RadStructAgent配置的构建消融，所有增益相对于相同模型的单次基线测量。盲修订在研究人员框架内应用修订步骤而无评判反馈，以评估仅修订器的贡献。与单次推理相比，盲修订对两个模型的GREEN均无变化，但Qwen3-4B的RadFAA增加0.008，Qwen3-8B增加0.015。添加发现评判者反馈主要改善GREEN，Qwen3-4B增益0.023，Qwen3-8B增益0.017。添加解剖评判者反馈完成完整系统，Qwen3-4B最终增益为GREEN 0.023和RadFAA 0.008，Qwen3-8B为GREEN 0.018和RadFAA 0.013。盲修订结果表明，在RadStructAgent内，仅修订步骤提供有限独立益处：它改善解剖层面分配（如RadFAA所反映），但不改善临床质量。添加发现评判者反馈改善GREEN，表明临床质量更好，因为该反馈针对缺失和不支持发现。解剖评判者反馈如预期改善发现分配，增益主要反映在RadFAA中。尽管Qwen3-4B的额外增益适中，但Qwen3-8B的益处更明显，并得到Gemma-4-E4B-it消融的支持（见图5b）。总之，这些发现表明发现级和解剖级反馈在迭代工作流程中提供互补益处。修订预算效果方面，图5a报告了跨修订轮预算的GREEN和RadFAA。较低预算使用更密集的值，因为图3显示大多数报告仅需少量修订轮。两个模型一旦允许修订即优于单次推理，大多数变化发生在早期修订轮。这一趋势表明迭代精炼在某一程度前有用，之后额外修订轮提供较小增益。这突出了性能和推理时间之间的权衡：顺序修订提供应用评判反馈的实用机制，而修订预算有助于控制计算成本。模型家族泛化方面，图5(b)报告了使用Gemma-4-E4B-it的模型家族消融。与单次推理相比，RadStructAgent将GREEN从0.914提升至0.923，RadFAA从0.924提升至0.934。结合Qwen3-4B和Qwen3-8B结果，Gemma-4-E4B-it实验显示另一模型家族的明显益处，表明所提出的智能体精炼策略不限于Qwen模型。总体而言，消融分析支持RadStructAgent作为多组件工作流程，其中编排、评判反馈、顺序修订、候选选择和预算控制共同改善结构化报告质量。局限性和未来工作方面，尽管RadStructAgent使用开源SLMs改善了SRRG风格结构化，但仍有巨大潜力进一步改善所提出的框架。本研究依赖自动指标，LLM作为评判者的工具可能遗漏或错误标记发现。单个解剖评判者在评估模糊发现的正确解剖分配方面也可能有限。未来工作应包括人类专家验证、改进的评判者可靠性分析、提示敏感性评估、每解剖反馈评判者、自适应工具调用预算、更广泛的多机构评估以及附加模型家族和规模的实验。另一个重要方向是将不同SLMs分配给不同智能体角色，而非在所有模块中使用相同模型。结论方面，本研究在更大规模多机构环境中检验了基于VLM的CXR报告生成的SRRG风格结构化监督，并引入RadStructAgent，一种使用开源SLMs对自由文本CXR报告进行SRRG风格结构化的智能体框架。研究人员下游VLM实验表明，SRRG风格结构化监督改善Qwen2.5-VL-3B报告生成。对于结构化任务，与单次推理相比，RadStructAgent改善了临床报告质量和解剖层面分配。消融分析进一步表明，所提出的框架受益于互补评判反馈和顺序修订，同时不限于单一模型家族。这些发现表明，智能体验证和精炼可改善使用开源SLMs的自由文本报告结构化的临床准确性。