《Mathematics》:Preface to the Special Issue “Advanced Methods and Applications with Deep Learning in Object Recognition”
编辑推荐:
本特刊聚焦于目标检测与识别,这是计算机视觉几乎所有应用中的核心任务,展示了新型数学算法、架构和方法在提升该任务性能方面的能力,重点强调了在相关应用中的挑战性条件下新解决方案及其性能分析。计算机视觉领域在过去十年中采用了深度学习(Deep Learning)模型
本特刊聚焦于目标检测与识别,这是计算机视觉几乎所有应用中的核心任务,展示了新型数学算法、架构和方法在提升该任务性能方面的能力,重点强调了在相关应用中的挑战性条件下新解决方案及其性能分析。计算机视觉领域在过去十年中采用了深度学习(Deep Learning)模型,因其相比经典方法具有优越性能。这些模型需要高处理能力(GPU)进行大规模数据集训练并提供实时推理,主要由卷积神经网络(Convolutional Neural Networks, CNNs)主导。它们分为两类:两阶段检测器追求最大精度但可能牺牲推理时间,一阶段检测器面向实时应用的最小推理时间。两阶段检测器由R-CNN家族(Region-proposal CNNs)主导,如Fast R-CNN、Faster R-CNN或Cascade R-CNN;一阶段检测器则由YOLO家族主导,还包括SSD和RetinaNet。近年来,视觉变换器(Vision Transformers, ViTs)家族也被应用于目标检测与识别任务,基于自注意力机制,学习序列元素间的关系,将变换器架构应用于图像网格。ViT利用CNN作为特征提取骨干网络。此外,目标检测与多目标跟踪(Multi-Object Tracking, MOT)等其他开放挑战密切相关,后者涉及视频序列中感兴趣目标的检测与跟踪,目标不仅是识别和定位,还需跨帧关联以保持连续性并跟踪动态变化。在评估方面,在不同解决方案间进行公平比较较为复杂,需考虑精度与速度的平衡、输入图像分辨率、评估参数配置等因素。不同场景下的条件差异使得难以获得对域迁移鲁棒的通用解决方案,通常需针对新场景进一步微调。基于可用基准和数据集进行分析是常见做法,许多作者指出类不平衡是实现高精度的额外挑战。其他深度学习架构(如GAN或自编码器)可与检测器结合增强训练阶段,增加数据集规模和多样性,以改进极小目标检测。此外,通过调整损失函数聚焦于难例学习、避免对大量负样本的偏倚,可改善不平衡情况下的学习效果。
深度学习在目标识别中的先进方法与应用:特刊解读
**研究背景与问题**
目标检测与识别是计算机视觉(Computer Vision, CV)的核心任务,广泛应用于自动驾驶、安防监控、医疗影像等领域。近年来,基于深度学习(Deep Learning, DL)的模型(如卷积神经网络(Convolutional Neural Networks, CNNs)和视觉变换器(Vision Transformers, ViTs))在该任务中取得了显著进展,但仍面临诸多挑战:精度与推理速度的权衡、域迁移(Domain Shift)导致的泛化能力不足、类不平衡(Class Imbalance)问题、小目标检测困难、对高处理能力(GPU)的依赖等。此外,多目标跟踪(Multi-Object Tracking, MOT)、图像恢复、场景文本识别等关联任务也需进一步优化。为应对这些挑战,本特刊聚焦于深度学习在目标识别中的先进方法与应用,收集了12篇原创研究,旨在探索新型数学算法、架构和方案,提升在复杂条件下的性能。
**研究人员开展的研究与意义**
研究人员在特刊中提出了涵盖3D多目标跟踪、公共卫生监测、人脸图像恢复、韩文零售收据文本识别、红外小目标检测、大视角特征提取、仪表数字识别、边缘设备实时检测、基于多模态对比学习的姿态分类、室内火灾与可燃物检测、功能动作筛查评估、以及交通标志检测综述等12项工作。这些研究系统性地改进了现有方法,在精度、速度、鲁棒性等方面取得了显著提升,为计算机视觉领域的实际应用提供了新思路。论文发表在《Mathematics》。
**关键技术与方法**(不超过250字)
特刊中采用的主要技术方法包括:基于Mamba状态空间模型(State-Space Model, SSM)结合dropout正则化和投影层的时序特征提取;基于开放世界视觉语言检测(Open-World Vision-Language Detection)与聚类策略的公共健康监测框架;基于分割引导的生成对抗网络(GAN)与注意力增强U2-Net的图像恢复方法;基于YOLOv9/v10/v11、DINO-DETR等模型的场景文本检测与OCR数据处理;基于多尺度线性注意力(Multi-Scale Linear Attention, MSLA)与稀疏融合机制的RT-DETR改进框架;基于优化仿射模拟与双阈值AGAST(Adaptive and Generic Accelerated Segment Test)特征检测器结合FREAK(Fast Retina Keypoint)描述符的大视角特征提取方法;基于SVM图像质量检测与深度学习数字定位的仪表读数技术;基于SSD MobileNet和YOLOv5的嵌入式边缘设备优化部署;基于对比语言-图像预训练(Contrastive Language-Image Pre-training, CLIP)的少样本人体姿态分类;基于双注意力网络(Dual Attention Network, DANet)的室内火灾与可燃物语义分割;基于膨胀3D卷积网络(Inflated 3D ConvNet, I3D)结合注意力机制(Attention Mechanism, AM)和多层感知机(Multilayer Perceptron, MLP)的功能动作筛查自动评估;以及基于YOLO的交通标志检测系统综述。样本队列来源包括:KORIE收据数据集(748张韩国零售收据,平板扫描数字化)、MAFD数据集(室内火灾与可燃材料图像)、瑜伽姿势数据集等。
**研究结果**(保留每个小标题,简要说明通过什么研究得出什么结论)
- **第一项贡献:D3SSTrack**
提出基于Mamba状态空间模型扩展dropout正则化和投影层的单目3D多目标跟踪方案。通过集成状态空间跟踪器学习时序一致性并保持身份嵌入,在数据关联中实现更鲁棒的掩码跟踪,提升了对时序动态的建模能力。
- **第二项贡献:CB-OWL-ViT**
提出基于聚类和开放世界视觉语言检测的公共卫生监测框架,结合单应性距离估计与单目相机,在无需重新训练的情况下增强口罩佩戴检测,适用于COVID-19等场景。独立帧处理检测与社交距离估计,为未来集成跟踪模块奠定了基础。
- **第三项贡献:M2UNet**
提出分割引导的生成对抗网络M2UNet,利用分割掩码先验准确定位遮挡区域,并采用多尺度注意力增强生成器恢复细粒度面部纹理。在合成掩码CelebA数据集上定量评估,优于现有图像修复方法,但真实场景数据待后续收集。
- **第四项贡献:KORIE**
构建包含748张韩国零售收据的基准数据集KORIE,挑战性条件包括热敏打印伪影(如褪色、条纹、机械折痕)。对比YOLOv9/v10/v11、DINO-DETR、EasyOCR、PaddleOCR及零样本大语言模型(Llama-3、Qwen-2.5)的性能,为场景文本检测、OCR和信息提取提供评测基准。
- **第五项贡献:MSLCP-DETR**
提出基于增强RT-DETR的框架,集成多尺度线性注意力(MSLA-AIFI)捕获跨尺度特征并降低计算复杂度,跨尺度小目标特征优化模块(CSOFO)增强密集场景中小目标定位,金字塔稀疏变换器(PST)替换传统密集融合提高精度与实时性。实验表明,与基线RT-DETR-R18相比,性能提升2.7%,参数数量和计算复杂度均更优。
- **第六项贡献:LV-FeatEx**
提出大视角特征提取方法,针对相机反向与物体表面法线夹角超过40°的情况。采用优化仿射模拟实现透视畸变对齐的特征点提取,结合双阈值AGAST检测器和FREAK描述符,在准确性和速度上均优于经典和深度学习特征提取方法,有效估计相机运动参数。
- **第七项贡献:仪表数字识别**
提出面向真实环境的自动仪表读数方法,先通过SVM方法检查图像质量,不合格则要求重新上传;随后使用深度学习模型进行数字定位与识别,自动检测并修正缺失数字和中间状态数字,提升读数的准确性。
- **第八项贡献:边缘设备实时摩托车检测**
研究不同嵌入式边缘设备(如Jetson系列)上SSD MobileNet和YOLOv5的摩托车检测性能。优化后模型尺寸显著减小,计算复杂度降低,推理速度提升,尽管mAP下降约5%,但FPS更高,适用于实时应用。
- **第九项贡献:基于CLIP的人体姿态分类**
探索多模态对比语言-图像预训练(CLIP)模型在少样本多类数据集上的应用,以瑜伽姿势分类为例。CLIP作为鲁棒微调器,除自然语言理解能力外,在图像分类中表现出色,优于先前结果。
- **第十项贡献:室内火灾与可燃物检测**
提出新数据集MAFD(Material-Auxiliary Fire Dataset),包含火灾与可燃材料图像。针对室内场景设计双注意力网络(DANet)进行语义分割,在火灾与可燃物识别上优于PSPNet、CCNet、FCN、ISANet、OCRNet等主流方法。
- **第十一项贡献:功能动作筛查自动评估**
基于膨胀3D卷积网络(I3D)提取多尺度时空特征,结合注意力机制(AM)模块聚焦人体运动特征,最后通过多层感知机(MLP)进行分类,实现功能动作筛查(FMS)的自动评估,有效识别功能性限制。
- **第十二项贡献:YOLO交通标志检测系统综述**
对2016-2022年基于YOLO的交通标志检测与识别研究进行系统文献综述(SLR)。发现最常见应用为车辆安全与智能自动驾驶;训练数据集多来自德国和中国;常用桌面处理硬件为NVIDIA RTX 2080、Titan Tesla V100和Jetson Xavier NX。
**总结与结论**
本特刊的讨论部分指出,目标检测与识别领域面临公平比较困难、域迁移、类不平衡等挑战,需结合多种深度学习架构(如GAN、自编码器)增强训练,并通过调整损失函数聚焦难例。研究结论可归纳为:特刊收集的12项工作从不同角度(多目标跟踪、小目标检测、图像恢复、边缘部署、少样本学习等)提出了创新解决方案,验证了深度学习在目标识别中的广阔应用前景,并为后续研究提供了基准和方法参考。