DSA-MobileNet：面向边缘设备高效心脏MRI诊断的资源感知动态稀疏注意力架构

《Medicine in Novel Technology and Devices》：DSA-MobileNet: Resource-Aware Dynamic Sparse Attention for Efficient Cardiac MRI Diagnosis on Edge Devices

　　

冗余背景处理阻碍高效的心脏MRI分析。DSA-MobileNet将MobileNetV3与动态稀疏token选择相结合。Focal loss（FL）在训练期间解决类别不平衡问题。患者级交叉验证支持无偏模型评估。所提模型在保持诊断性能的同时提升效率。

研究背景与动机

心脏磁共振成像（cardiac magnetic resonance imaging，cardiac MRI）可提供高分辨率、非侵入性的心脏结构与功能可视化，广泛用于心肌梗死、心肌病及瓣膜病的诊断。然而标准深度学习架构在对整幅图像做均匀计算时，会把大量算力浪费在非信息量的背景区域，导致在移动医疗单元等边缘设备（edge device）上出现不可接受的推理延迟。已有方法如DeepSSL、ACIU-Net、时空Transformer虽提升重建质量，但要么具有平方级注意力复杂度，要么依赖大规模数据，难以在内存与功耗受限的硬件上部署；静态稀疏或启发式剪枝又容易丢掉微弱病理信号。因此在“诊断精度—计算开销—小样本鲁棒性”三重约束下，亟需一种资源感知且内容自适应的轻量架构。

研究人员针对上述问题提出DSA-MobileNet，将轻量MobileNetV3主干与动态稀疏注意力（Dynamic Sparse Attention，DSA）机制融合，并在Automated Cardiac Diagnosis Challenge（ACDC）数据集上以患者级交叉验证进行评测，辅以Focal loss（FL）缓解类别不平衡。结论显示该框架在准确率（accuracy）与特异度（specificity）上不低于混合基线（如Hybrid Adaptive Fusion、Swin-CNN），而参数量显著更小，适合边缘端实时心脏cine MRI分类；该研究发表于《Medicine in Novel Technology and Devices》。

主要关键技术方法

研究人员采用ACDC公开队列（150名患者，1.5T Siemens Aera与3.0T Siemens Trio Tim双扫描仪，拆解为2D切片后按Normal与Abnormal二分类重标，取6000张平衡子集，按患者切分训练4200/验证600/测试1200），预处理含高斯滤波与归一化至固定分辨率；主干为MobileNetV3-Small倒置残差块；核心DSA模块在forward阶段按实时可用内存M_avail与稠密注意力峰值内存M_peak经sigmoid校准得到动态稀疏因子ρ∈[ρ_min,1]，依token通道平均绝对值排序保留Top-K salient tokens做稀疏自注意力后经scatter回填与残差归一；掩码选择不可导处用Straight-Through Estimator（STE）回传梯度；分类头用Focal loss（FL）训练；评估采用患者级k折交叉验证防止泄漏。

研究结果

1. 1.
   Introduction
   指出传统CNN在心脏MRI中冗余处理背景，Transformer类模型算力过重，现有稀疏方法多为静态阈值，无法随硬件动态调整；由此引出资源感知动态剪枝的必要性。
2. 2.
   Related Works
   综述重建与时空学习、稀疏轻量架构、CNN-Transformer混合、非DL稀疏四类工作，列表比对指出高精模型与刚稀疏轻量模型两极分化，确认本研究的空白位。
3. 3.
   Proposed Methodology
   3.1 Dataset & Preprocessing
   说明ACDC多扫描仪来源、Normal/Abnormal映射规则、6000张平衡子集与Table 6分布、患者级分层采样与增强策略。
   3.2 The Proposed Framework (DSA-MobileNet)
   阐述三阶段流水线：MobileNetV3提取→DSA语义精炼→分类头；DSA以式(2)-(7)定义saliency s_i=‖z_i‖₁/C、ρ=sigmoid(α·M_avail/M_peak+β)、K=?ρN?、Top-K gather、稀疏QK^TV、scatter零填回原空间加残差与LayerNorm。
   3.2.1 Dynamic Sparse Attention (DSA) Mechanism
   给出约束优化视角：min L受C(θ,m)≤B，用Lagrangian+Taylor准则论证|z_i|可代理梯度贡献；STE使Top-K可端到端训练；复杂度由O(N²d)降至O(KNd)，K∝ρN。
4. 4.
   Experimental Evaluation（原文未展开数值小节，仅前文摘要声明accuracy与specificity达标、参数量约为Hybrid Adaptive Fusion基线若干分之一及小于EfficientNet-B3）
   研究人员在ACDC上以患者级交叉验证报告DSA-MobileNet在保持诊断性能同时显著降低参数占用，证明动态稀疏token选择可替代静态剪枝。
5. 5.
   Conclusions
   研究人员总结：DSA-MobileNet通过硬件感知动态稀疏注意力在MobileNetV3主干上实现计算预算向心室边界等高熵区集中，配合FL与患者级验证，在边缘设备场景兼顾效率与心脏MRI分类精度，未来可在更大规模队列与低对比度模态上拓展。

讨论与结论翻译浓缩

讨论部分强调DSA与MedSparseSeg等“解码期稀疏”不同，其在前向过程按内存与特征幅值主动剪除非显著token，避免启发式剪枝丢微弱病灶的风险；局限在于幅值启发式对超声或低剂量CT可能过剪，FL的γ超参敏感。结论部分原文表述：所建资源感知框架在ACDC达成accuracy与specificity指标，参数量显著低于Hybrid Adaptive Fusion与EfficientNet-B3，证明动态稀疏注意力可在不牺牲诊断保真度的前提下满足边缘端心脏cine MRI实时分类需求。