《Algorithms》：EDBERT: Predicting Emergency Department Disposition Using a BERT-Based Architecture
编辑推荐：
目的：开发并评估EDBERT（急诊科双向编码器表示，Emergency Department Bidirectional Encoder Representations from Transformers），这是一种围绕多输入融合网络构建的基于BERT的架构，
目的：开发并评估EDBERT（急诊科双向编码器表示，Emergency Department Bidirectional Encoder Representations from Transformers），这是一种围绕多输入融合网络构建的基于BERT的架构，通过为自由文本分诊记录补充主诉和患者年龄的额外上下文信息，来预测急诊科（ED）处置结果，从而支持早期决策并缩短急诊科住院时间（LOS）。方法：使用澳大利亚皇家墨尔本医院570,143例急诊科就诊的回顾性队列。EDBERT的核心是一个融合网络，通过可学习的权重整合三个互补的输入来源——分诊记录、主诉和患者年龄，其中两个自由文本输入由定制的八层BERT编码器堆栈进行编码，该堆栈在分诊文本上通过掩码语言建模（MLM）进行了预训练。所得到的架构也很轻量，包含6600万个参数，远少于BERT-BASE的1.1亿个参数。数据集的80%用于训练，20%用于测试。性能与不同深度的BERT-Base配置进行了基准比较。结果：EDBERT达到了83.26%的准确率、81.99%的宏平均F1分数和0.91的受试者工作特征曲线下面积，优于所有单输入BERT-Base变体，包括深度匹配的八层模型（82.08%），表明性能提升源于互补输入的融合以及领域自适应预训练，而非模型容量。结论：一种基于融合的BERT架构，在分诊叙述中补充主诉和年龄上下文，比更大的单输入BERT模型更准确地预测急诊科处置结果，同时需要更少的内存和计算资源，使其适用于计算资源有限的医院部署。
**基于融合网络的轻量级BERT架构在急诊科处置预测中的应用**
**一、研究背景与问题**
澳大利亚正面临日益增长的急诊需求和住院压力，急诊科（ED）为重症或危及生命的患者提供24小时服务，但患者需求已超过人口增长速度。2023-2024年，澳大利亚急诊科接诊约900万人次，其中约31%随后被收入住院病房。急诊科住院时间（LOS）指患者到达急诊科至离开的时间段，急诊科过度拥挤常导致住院时间延长，进而与发病率和死亡率增加相关。Jones等人报告，到达急诊科后停留超过5小时的患者，其全因30天死亡率呈时间依赖性线性增加，每82名延迟6至8小时以上的患者中额外发生1例死亡。因此，早期识别需要入院治疗的患者，可改善急诊科流程、优化资源配置并改善患者预后。
分诊是患者在急诊科的第一接触点，分诊护士在评估前收集人口统计学信息和就诊原因，记录于分诊记录中。分诊记录通常包含就诊原因、相关症状、病史和用于确定临床紧急程度的生理观察值。然而，急诊科分诊记录常以高度压缩的风格书写，包含缩写、符号、不完整短语和本地使用的简写，这给一致性的解释和自动化自然语言处理（NLP）带来挑战。近年来，大型语言模型（LLM）在医疗领域的应用受到广泛关注，BERT及其预训练变体（如ClinicalBERT、BioBERT）已显示出显著潜力。已有研究将BERT应用于急诊科分诊文本预测处置结果，但存在两个重要缺口：第一，大多数基于BERT的处置模型仅依赖自由文本分诊记录作为单一输入，未系统整合分诊时伴随的结构化上下文信息（如主诉和患者年龄）；第二，开发和维护医疗LLM资源密集，BERT-BASE约含1.1亿参数，对计算资源有限的医院不切实际。
**二、研究内容与主要方法**
针对上述问题，研究人员开发了EDBERT（急诊科双向编码器表示），一种围绕多输入融合网络组织的轻量级基于BERT的框架。与引入全新Transformer架构不同，EDBERT将分诊记录与主诉和患者年龄的互补信息结合，三个输入通过可学习权重整合形成统一表示进行处置预测。Transformer编码器被有意设计为轻量级，层数、注意力头数和隐藏维度均小于常规BERT配置，在保持预测性能的同时降低内存需求和计算成本。研究使用了澳大利亚皇家墨尔本医院570,143例急诊科就诊的回顾性队列（排除约5%其他处置类别后），其中37.2%为入院，62.8%为回家/出院，80%数据用于训练，20%用于测试。研究主要采用以下关键技术方法：（1）定制的轻量级BERT编码器堆栈，包含8个Transformer层、8个多头自注意力头、隐藏大小512，词汇表扩充至40,000个令牌；（2）多输入融合网络，通过网格搜索优化的可学习标量权重（分诊记录权重、主诉权重、年龄权重）对三个嵌入进行加权求和；（3）两阶段训练策略，先使用掩码语言建模（MLM）在分诊文本上预训练编码器堆栈，再端到端训练整个模型，使用交叉熵损失和Adam优化器（学习率、权重衰减0.01、批大小64、dropout率0.5）；（4）评估指标包括准确率、宏平均精确率/召回率/F1分数、ROC曲线和AUC，并与2至12层（步长2）的BERT-Base配置及多种预训练BERT变体（BERT-Base、MedBERT、DistilBERT、TinyBERT、ALBERT）进行基准比较。
**三、研究结果**
**3.1 整体性能**
EDBERT在所有评估模型中达到最高性能，准确率83.26%，宏平均精确率82.14%、召回率81.85%、F1分数81.99%，在所有指标上均优于标准12层BERT-Base模型。EDBERT的测试集ROC曲线AUC为0.91，表明对两个处置类别具有较强区分能力。与深度匹配的八层BERT-Base模型（仅使用分诊记录）相比，EDBERT准确率高出1.18个百分点（83.26% vs. 82.08%），说明性能提升主要源于互补输入的融合和领域自适应预训练，而非模型容量。
**3.2 支持性分析结果**
对编码器深度的影响分析显示，将BERT-Base的编码器深度从2层变化到12层仅产生边际准确率差异（81.47%至82.23%），而参数数量和每周期训练时间随深度大幅增加。八层配置在预测性能和计算效率间取得最佳平衡，因此被EDBERT采用。MLM预训练分析显示，在分诊文本上进行MLM预训练将EDBERT的准确率从82.18%提升至83.26%（补充表S2），证实了领域自适应预训练的价值。
**3.3 与预训练BERT变体的比较**
所有BERT变体（BERT-Base、MedBERT、DistilBERT、TinyBERT、ALBERT）的准确率均在80.9%至82.1%范围，宏平均精确率、召回率和F1分数聚集在81%至82%之间。MedBERT准确率最高（82.19%），略高于BERT-Base（81.7%）；压缩架构DistilBERT（81.6%）、ALBERT（81.4%）和TinyBERT（80.9%）在参数明显更少的情况下表现相当。但所有仅使用分诊记录评估的BERT变体均低于EDBERT的83.26%准确率。
**四、讨论与结论**
在讨论部分，研究人员分析了EDBERT性能提升的原因：首先，融合网络为分诊叙述补充了主诉和患者年龄的互补上下文，深度匹配的仅使用分诊记录的八层BERT-Base准确率为82.08%，而EDBERT达到83.26%，表明丰富输入表征而非增加模型容量驱动了性能提升；其次，领域自适应MLM预训练使模型学习急诊文档特有的术语、缩写和上下文模式，去除MLM预训练使准确率降低超过一个百分点；第三，分诊记录短且电报式（本数据集中最大101词），词汇变异性极低（唯一词比1.01%），12层1.1亿参数模型的表征能力过剩可能促进过拟合，而EDBERT的编码器深度与输入的语言复杂度相匹配。关于错误分类分析，假阳性常见于有大量合并症和高严重度症状语言但最终通过计划或既定护理路径出院的老年患者（110例假阳性涉及肝病或肝硬化），假阴性常见于分诊时无明显专科入院需求的年轻患者（189例假阴性涉及烧伤），表明最终处置可能依赖于分诊信息未捕获的下游专科评估、检查或护理路径。研究限制包括单中心数据、排除约5%其他处置类别、缺乏不确定性估计和抽象机制、以及回顾性评估无临床医生交互。
研究结论部分指出：本研究介绍了EDBERT，一种用于急诊科处置预测的专用Transformer架构，其核心是通过可学习权重整合自由文本分诊记录与主诉和患者年龄互补上下文的融合网络。补充上下文结合领域自适应MLM预训练，使EDBERT持续优于更大的单输入BERT基线。通过根据急诊科文本特征定制编码器堆栈（减少Transformer层、注意力头和隐藏维度），EDBERT以更少参数和更短训练时间实现高性能。总体而言，EDBERT为急诊环境中的患者处置预测提供了可扩展、高性能且资源效率高的解决方案，支持及时、明智的临床决策。未来工作将探索EDBERT在多医院站点的泛化性、整合更多患者特征、不确定性感知预测以及急诊分诊工作流程中的实时部署。
