基于多分支CNN-LSTM融合网络与BERT语义评估的急诊头CT放射报告生成系统

《IEEE Journal of Translational Engineering in Health and Medicine》：Multi-Branch CNN-LSTM Fusion Network-Driven System With BERT Semantic Evaluator for Radiology Reporting in Emergency Head CTs

本研究针对急诊头CT诊断中放射科医生工作负荷重、诊断时间紧迫及认知偏差等问题，开发了一种多分支CNN-LSTM融合网络驱动的自动放射报告生成系统。通过预处理策略筛选最具代表性的5张CT切片，结合预训练VGG16特征提取与多分支LSTM序列生成，并引入BERT语义评估器优化报告结构。结果显示，系统在BLEU-4、ROUGE-L和METEOR指标上分别达到17.3%、34.6%和34.5%，显著提升了报告生成的准确性与临床适用性，为急诊放射决策支持提供了创新解决方案。

　　

在急诊室人满为患的医疗场景中，头CT检查已成为排除脑卒中、脑出血等急重症的常规手段。然而，放射科医生需要花费5-20分钟人工解读每份CT图像并撰写报告，这种时间延迟会延长患者住院时间，增加院内感染风险。更棘手的是，医生在高压环境下容易受代表性、锚定效应等认知启发式偏差影响，导致诊断差异甚至错误。尽管深度学习技术已在医学影像分析中展现潜力，但现有研究多集中于胸片报告生成，且存在描述重复、缺乏上下文连贯性等问题。尤其值得关注的是，针对急诊头CT这种病例异质性极高、诊断时效性要求严苛的场景，至今尚无成熟的AI辅助报告系统问世。

为破解这一难题，意大利特伦托大学研究团队在《IEEE Journal of Translational Engineering in Health and Medicine》发表了一项创新研究，提出了一种融合多分支卷积神经网络与长短期记忆网络（CNN-LSTM）的放射报告自动生成系统。该系统通过独特的双通道预处理流程，对500例急诊患者头CT数据（采集自2022年1-6月）进行标准化处理，采用主成分分析（PCA）保留95%数据方差，智能筛选出最具诊断价值的5张切片。研究团队创新性地设计了9个并行LSTM分支网络，每个分支专门生成报告中的特定章节，再通过BERT模型进行语义质量评估，最终形成结构完整的放射报告。

关键技术方法包括：基于PCA的CT切片优选策略（从13-307张原始切片中提取5张代表性切片）；预训练VGG16特征提取（生成4096维特征向量）；多分支LSTM序列生成架构（9个独立分支处理不同报告段落）；BERT语义评估器（通过困惑度评分选择最优描述）；规则后处理模块（修正语法结构与标点使用）。数据集来自特伦托自治省医疗服务中心的500例急诊头CT扫描，包含出血（32.6%）、钙化（10%）、缺血（19.8%）等多种病理表现。

模型架构优化

通过贝叶斯优化算法确定最优超参数组合（100轮训练周期、0.001学习率、32批次大小），VGG16作为特征提取骨干网络的表现显著优于ResNet50V2等其他架构。模型包含14个输入节点（5个图像特征输入+9个文本序列输入），通过稠密层（Dense layer）将合并后的20480维特征降维至4096维，再与各LSTM分支输出的256维特征拼接，最终经Softmax激活函数生成词汇概率分布。

多维度评估结果

十次随机拆分验证显示系统性能稳定，最佳测试组合在BLEU-4、ROUGE-L和METEOR指标分别达到17.3%、34.6%和34.5%。与单分支CNN-LSTM基线模型相比，多分支架构在各项指标上均呈现显著优势（P<0.05）。语义评估环节通过BERT计算生成描述的困惑度，有效筛选出语义最连贯的段落组合。

语言适应性验证

将意大利语报告翻译为英语的对比实验表明，系统在双语环境下的性能差异小于3%，证明模型对语言特征不敏感。这得益于LSTM分支的序列处理能力与BERT的跨语言语义评估机制，确保了系统在多语言医疗场景中的适用性。

后处理优化效果

规则后处理模块通过正则表达式自动修正标点缺失、大小写错误等语法问题，使生成报告更符合放射学写作规范。如图6所示，经过后处理的报告在保持语义准确性的同时，显著提升了专业术语使用规范性与段落结构完整性。

研究结论表明，这种多分支融合架构成功解决了传统放射报告生成中的描述重复与上下文断裂问题。通过分解复杂报告生成任务为多个子任务，系统既能保证各章节内容的专业性，又通过语义评估确保了整体连贯性。尽管当前系统仅处理二维切片数据，但其在急诊场景下的实用价值已得到验证——能够将CT解读时间从传统人工处理的5-20分钟压缩至分钟级，同时降低因认知偏差导致的诊断差异。

讨论部分指出，未来研究将向三个方向拓展：一是整合3D卷积网络捕捉全脑空间特征；二是引入视觉-语言模型（Vision-Language Models）提升跨模态理解能力；三是建立更精细的临床相关性评估体系，包括病理漏报/误报分析等定性指标。该工作为急诊放射科提供了首个针对头CT的AI辅助报告解决方案，其模块化设计思路也为其他医学影像模态的自动报告生成提供了可借鉴的范式。