《Biomimetics》：Adapting Pretrained Transformer Blocks Within a Convolutional Framework for Slice-Based Brain MRI Segmentation and Deformable Registration
编辑推荐：
准确的脑肿瘤分割和纵向磁共振成像(MRI)配准需要能够同时捕捉局部组织特征和长距离解剖依赖的表征。受生物视觉系统层级局部到全局处理和多尺度信息整合的启发，本研究提出了一种仿生语言-Transformer与卷积(LTC)框架，并以基于注意力的U型网络(ALUN)
准确的脑肿瘤分割和纵向磁共振成像(MRI)配准需要能够同时捕捉局部组织特征和长距离解剖依赖的表征。受生物视觉系统层级局部到全局处理和多尺度信息整合的启发，本研究提出了一种仿生语言-Transformer与卷积(LTC)框架，并以基于注意力的U型网络(ALUN)实现。该架构将卷积特征提取与来自双向编码器表征(BERT)和大语言与视觉助手(LLaVA)的Transformer表征相整合。其卷积通路模拟局部视觉模式的提取，而基于注意力的处理和跳跃通路促进全局上下文整合以及精细解剖信息的保留。BERT-ALUN和LLaVA-ALUN分别在基于切片的2D分割和可变形配准配置中进行了评估，使用分别从BraTS和BraTS-Reg提取的轴位图像。配准配置估计稠密双分量面内位移场，而不估计完整的3D变换。性能通过Dice相似系数(DSC)和敏感性进行评估，并辅以架构消融和图像噪声实验。在分割中，LLaVA-ALUN的未加权平均DSC和敏感性分别为84.96%和82.01%，而BERT-ALUN为80.59%和80.03%。在配准中，LLaVA-ALUN的基于区域平均DSC和敏感性分别为78.52%和75.24%，BERT-ALUN为71.96%和72.21%。这些结果分别代表分割和配准的平均DSC提高了4.37和6.57个百分点。在评估的噪声图像条件下，LLaVA-ALUN也获得了更高的DSC和敏感性。消融实验表明，增加Transformer深度可改善空间重叠，而更复杂的卷积配置同时提高了性能和训练时间。总体而言，研究结果表明，层级卷积处理与基于注意力的全局表征的仿生整合为脑MRI分割和配准提供了一种有前景的策略。
**研究背景与问题**
脑肿瘤是一类形态、位置、生物学行为和治疗反应差异较大的颅内病变。磁共振成像(MRI)凭借高软组织对比度和多序列互补信息，广泛用于脑肿瘤评估，但浸润性生长、边界不规则、信号异质性以及病理与健康组织相似性使人工分析困难且易受观察者间变异影响。自动分割和纵向可变形配准是肿瘤定量评估和随访的关键，脑肿瘤分割挑战(BraTS)和纵向配准挑战(BraTS-Reg)分别推动了相关算法发展。现有方法中，卷积神经网络(CNN)能保留局部细节，但显式建模长距离解剖依赖不足；Transformer可改善全局上下文建模，但计算成本高；已有联合分割-配准框架多依赖任务特定监督，难以应对术后缺失对应等问题。预训练语言和视觉-语言模型不能直接用于密集MRI预测。因此，需要研究如何在统一卷积框架中适配预训练Transformer模块，并同时用于分割和配准。
**研究内容与主要结论**
研究人员提出仿生语言-Transformer与卷积(LTC)框架，以基于注意力的U型网络(ALUN)实现。该架构通过图像到令牌投影将卷积特征映射为Transformer兼容的令牌，由来自双向编码器表征(BERT)和大语言与视觉助手(LLaVA)的预训练Transformer模块进行全局建模，再经注意力增强跳跃通路回传解码器。两个任务配置共享架构但独立训练：分割输入四通道MRI切片，输出类别概率；配准输入固定和运动多模态切片，输出二维面内位移场。在BraTS和BraTS-Reg上的实验显示，LLaVA-ALUN的分割平均Dice相似系数(DSC)为84.96%，配准为78.52%，分别比BERT-ALUN高4.37和6.57个百分点；噪声条件下也保持更高DSC和敏感性。消融实验确定了两层Transformer、三层卷积和α=0.7的配置。结果支持将层级卷积与注意力全局表征仿生整合作为脑MRI分割与配准的有效策略。
**关键技术方法**
使用BraTS和BraTS-Reg数据集，按患者级划分，提取256×256轴位切片，逐模态用非零脑像素均值/标准差标准化。主干为三层编码/解码的U型卷积网络；通过自适应平均池化将跳层特征转为16×16的256个视觉令牌(维度768)，经线性适配器送入BERT(768)或LLaVA(768→4096→768)的两个预训练Transformer块，再经注意力增强跳跃融合回解码器。分割目标为交叉熵+soft Dice(α=0.7)；配准目标为多模态平均绝对误差(MAE)+扩散正则(λ
s=0.01)，用双线性插值后向采样生成扭曲图像。优化使用Adam，学习率10
?4，批大小16。
**研究结果**
**5.3 脑肿瘤分割性能**
基于BraTS数据的分割实验中，LLaVA-ALUN在全部12个模态-类别组合中DSC均高于BERT-ALUN；未加权平均DSC为84.96%对80.59%，敏感性为82.01%对80.03%。T2模态平均DSC最高，水肿类别的平均DSC最高。然而，坏死类别的平均敏感性从80.83%降至77.44%，提示预测更紧凑，需要进一步区分边界细化与欠分割。该结果使用实验性掩膜类别，不能直接视为标准全肿瘤(WT)、肿瘤核心(TC)和增强肿瘤(ET)基准。
**5.4 可变形配准性能**
基于BraTS-Reg的切片级2D配准中，LLaVA-ALUN在四个模态的DSC均更高，平均DSC为78.52%对71.96%，平均敏感性为75.24%对72.21%；T1ce改善最大，FLAIR敏感性反而较低。面内标志点误差从配准前6.0 mm降至BERT-ALUN的3.5 mm和LLaVA-ALUN的2.8 mm；两模型二维Jacobian行列式中位数均为1.00，非阳性比例分别为1.2%和0.8%。这些指标补充了区域重叠评估，但不等于完整3D对应验证。
**5.5 架构与损失参数消融**
预训练初始化相比随机初始化，BERT-ALUN的DSC提高1.39个百分点，LLaVA-ALUN提高2.86个百分点。参数估计显示LLaVA模块参数约为BERT的29倍，故性能差异不能单独归因于视觉-语言预训练。Transformer编码器深度从1层增至2层时DSC从62.00%升至83.90%，增至4层为86.40%，因此选择2层作为较低成本工作点。卷积配置从配置1到配置4使三类别平均DSC从约76%提高至83.23%，但训练时间从410秒增至920秒。分割损失系数α从0.9降至0.7时验证DSC提高6.42个百分点，故选择α=0.7。
**5.6 图像噪声鲁棒性**
在评估的噪声条件下，LLaVA-ALUN分割DSC为85.93%、敏感性为84.18%，分别比BERT-ALUN高7.70和7.89个百分点；配准DSC为75.12%、敏感性为74.15%，分别高6.78和6.90个百分点。该噪声实验为汇总条件，未提供每个信噪比(SNR)下的独立性能估计。
**讨论与结论**
讨论部分指出，LLaVA-ALUN的优势是观测到的整体改善，尚不能证明视觉-语言预训练本身导致该差异；两通路在原生架构、隐藏维度和参数量上不匹配。结果缺少患者级置信区间和重复实验，分割采用实验性掩膜而非标准WT/TC/ET，配准为2D面内模型，未建模层间信息。结论部分可翻译为：本研究开发了LTC-ALUN，一种结合卷积特征提取与适配预训练Transformer表示的U型框架，用于基于切片的2D脑肿瘤分割和面内可变形MRI配准。LLaVA-ALUN在分割和配准中的平均DSC分别为84.96%和78.52%，高出BERT-ALUN 4.37和6.57个百分点，因此被选为主要配置。消融研究支持两层Transformer、三层卷积和α=0.7。未来需进行患者级不确定性分析、外部验证、标准WT/TC/ET报告，并将面内配准评估扩展到完整3D标志点对应和体积变形分析。
