《Sensors》:Rydberg-Atom-Based Angle-of-Arrival Estimation Method for Ku-Band Microwave Signals
编辑推荐:
智能手机采集的道路裂缝图像存在分辨率低、光照不均及复杂背景干扰等问题,且移动设备资源有限难以满足实时高精度分割需求。研究人员提出一种两阶段框架,将高精度双路径教师模型与经知识蒸馏的轻量学生模型结合。教师模型集成CNN-KAN(卷积神经网络-科尔莫哥洛夫-阿诺德
智能手机采集的道路裂缝图像存在分辨率低、光照不均及复杂背景干扰等问题,且移动设备资源有限难以满足实时高精度分割需求。研究人员提出一种两阶段框架,将高精度双路径教师模型与经知识蒸馏的轻量学生模型结合。教师模型集成CNN-KAN(卷积神经网络-科尔莫哥洛夫-阿诺德网络)路径提取局部纹理,与VMamba(视觉曼巴)路径以线性复杂度建模全局上下文,并通过专用KAN融合模块学习两路特征流间的自适应非线性映射。在公开裂缝数据集上教师模型mIoU达0.8087、mDice达0.9028;迁移至自构建的30fps连续视频智能手机数据集后mIoU为0.7084,对光照与模糊具强鲁棒性。基于GAN的超分辨率策略进一步使mIoU提升4.01%。研究人员采用ConvLSTM(卷积长短期记忆)结构化知识蒸馏将教师压缩为轻量MobileViT学生模型,参数量由57.80M降至1.57M,GPU推理时间由99.56ms降至1.46ms,mIoU保留0.7078,在安卓手机上以15–20fps运行。消融实验确认ConvLSTM时序蒸馏贡献超越标准蒸馏。该框架为智能手机端实时道路裂缝监测提供实用方案。
研究背景与动机
随着城市基础设施老化加速,道路裂缝检测成为交通安全与路面养护的关键任务。传统人工巡检效率低、成本高且难标准化;基于声发射与振动传感的深度学习方案需专用仪器,不适合大规模低成本监测。智能手机配备高清摄像头与GPS,为众包低成本的路面监测提供契机,但实采图像面临分辨率低、光照不均、运动模糊与背景复杂等挑战,且现有实验室导向方法难以直接迁移。与此同时,CNN受限于局部感受野,难以刻画裂缝长距离连续性;Transformer虽具全局建模能力,但计算复杂度随分辨率呈二次增长,无法直接部署于移动端;现代视觉模型动辄数十至数百兆参数,与手机硬件间存在巨大鸿沟。近期KAN(Kolmogorov–Arnold Networks,科尔莫哥洛夫-阿诺德网络)以可学习单变量非线性函数替代固定激活,VMamba以选择性状态空间模型实现线性复杂度全局建模,二者互补但未曾联合融合,亦未解决视频时序连续性与手机端压缩问题。为此,研究人员提出两阶段框架,兼顾高精度教师模型与可部署轻量学生模型。
主要关键技术方法
研究人员构建双路径编码器-解码器教师模型:CNN-KAN路径嵌入KAN层替代ReLU等固定激活以提取局部纹理,VMamba路径通过二维选择性扫描(SS2D)以线性复杂度O(N)建模全局上下文,两者在各级编码器经KAN融合模块做非线性对齐。训练数据来自四组公开数据集(Crack500、DeepCrack、CFD、CrackTree,共12887张统一resize至固定尺寸)与自采西安沥青路面数据集——iPhone 14 Pro Max以吸盘固定于前挡风、距地约1.5m、俯角25°、车速约30km/h录30fps视频,按GPS轨迹抽1769关键帧并由五人标注两人复核达成共识,按路段划分避免邻近帧泄漏。增强侧采用动态加权的GAN图像增强、CycleGAN风格迁移与超分辨率重建三种训练期策略;压缩侧以ConvLSTM对“关键帧+前后邻帧”三帧片段建模裂缝时序连续性,从教师KAN融合模块浅中深三层提取软标签,联合任务损失与特征/响应/时序蒸馏损失训练MobileViT学生。部署经ncnn框架落地的三星Galaxy S21(骁龙888)实测。
研究结果
4.1 公开数据集评估:教师模型在四库合并集mIoU 0.8087、mDice 0.9028,较DefNet高6.1%,较SKPNet高6.3%,较MambaCrackNet高8.3%,FLOPs较TransUNet少51%。
4.2 智能手机集迁移:渐进解冻微调后教师mIoU 0.7084(较公开集降12.4%),优于所有基线,CNN类DeepLabV3暴跌65.4%,证实双路径域适应力强。
4.3 消融实验:仅VMamba编码mIoU公集0.6788/手集0.5827;仅CNN-KAN为0.7690/0.6383;简单拼接0.7726/0.6642;全架构达0.8087/0.7084,证KAN融合优于线性拼接。
4.4 鲁棒性评估:大气模糊影响最小,中值/盒状模糊致边缘退化最剧;双路径互补偿优于单路径TransUNet;光照上对欠曝较过曝敏感。
4.5 GAN优化:超分辨率mIoU提升至0.7368(+4.01%)居首,CycleGAN风格迁移+3.18%,GAN增强+1.57%。
4.6 轻量蒸馏部署:无蒸馏MobileViT mIoU 0.6021;标准蒸馏0.6785;加ConvLSTM时序蒸馏0.7078。五学生架构中MobileViT最接近教师(0.7078 vs 0.7084),参57.80M→1.57M,尺寸220.65MB→6.01MB,RTX4090推理99.56ms→1.46ms;Galaxy S21端ncnn跑15–20fps(约50–67ms/帧)。
讨论与结论翻译
讨论指出,双路径设计令CNN-KAN与VMamba在模糊与光照扰动下互补补偿,超分辨率因恢复高频细节对低分辨手机图最关键,ConvLSTM时序蒸馏利用视频邻帧重叠区域传递软标签,其增益非来自额外教师推理而是时序聚合。结论部分:(1)CNN-KAN+VMamba+KAN融合教师公集mIoU 0.8087/mDice 0.9028,手机集迁移0.7084,消融证融合模块胜拼接;(2)教师对模糊光照鲁棒,超分辨率+4.01% mIoU;(3)ConvLSTM蒸馏至MobileViT参1.57M、GPU时延1.46ms、手机15–20fps、mIoU 0.7078,同源划分下超越最强基线DefNet,证“域适应教师蒸馏”优于小数据从头训。该研究发表于《Sensors》,为智能手机辅助交通基础设施监测提供可扩展实用路径。