《Infrared Physics & Technology》:SWiT-Match: A framework integrating wavelet transform and leveraging dual-view imaging for millimeter-wave concealed object detection
编辑推荐:
摘要主动毫米波成像技术在安全检查中起着至关重要的作用,但物体检测面临着诸多挑战,包括信噪比低、边缘模糊、纹理特征弱,以及由于视角变化和遮挡导致正反视图之间外观差异极大。为了解决这些问题,本文提出了一种名为SWiT-Match的新颖双视图物体检测框架,该框架通过小波分析进行了增强。
摘要
主动毫米波成像技术在安全检查中起着至关重要的作用,但物体检测面临着诸多挑战,包括信噪比低、边缘模糊、纹理特征弱,以及由于视角变化和遮挡导致正反视图之间外观差异极大。为了解决这些问题,本文提出了一种名为SWiT-Match的新颖双视图物体检测框架,该框架通过小波分析进行了增强。首先,我们设计了SWiT-FNet前端网络,通过将离散小波变换与空间处理深度整合,显著提升了低质量主动毫米波图像的特征表达能力。随后,我们利用Swin Transformer作为核心模块来提取多尺度特征。此外,我们还提出了以SameLocationHead为核心的DualView-Match机制,该机制通过非对称注意力机制有效预测跨视图对应关系,从而克服因外观差异带来的匹配难题。整个SWiT-Match框架基于DINO检测器结构,并通过多任务学习策略实现端到端优化,从而协同提升检测与匹配性能。在私有的DualMMW数据集和公共的THz-DualView数据集上的实验结果表明,与单视图DINO基准模型相比,SWiT-Match取得了显著的性能提升:在DualMMW数据集上,其AP@0.5指标提高了9.04个百分点;在THz-DualView数据集上则提升了6.53个百分点。
引言
由于非电离辐射特性以及能够有效穿透衣物,主动毫米波成像技术在公共安全检查中发挥着重要作用[1]、[2]。最近的综述文章[3]、[4]系统地研究了毫米波和太赫兹成像技术在安全检查中的应用进展,尤其是深度学习方法的应用情况[5]。与传统X射线系统和金属探测器相比,该技术在检测隐蔽的非金属危险物品方面具有独特优势,已成为现代安全检查的重要技术支撑[6]。然而,这项技术也面临着两大挑战:首先,其物理成像原理导致主动毫米波图像存在固有缺陷,如分辨率低、信噪比差、纹理模糊等;其次,复杂的现实场景中也存在目标尺寸小、多目标遮挡以及姿态变化等问题[2]、[7]、[8]。为了实现更全面的检测覆盖并提高发现隐藏物品的概率,主动毫米波安全系统通常会从正反两个相对角度获取人体图像,以实现双视图成像,如图1所示。如何有效融合这些因视角和遮挡而存在显著外观差异的互补信息,依然是亟待解决的核心问题[9]、[10]。这些因素共同给现有系统在复杂场景下的检测精度和稳定性带来了严峻挑战。
尽管基于深度学习的物体检测方法在这一领域取得了一些进展,但其性能仍受到上述多重挑战的限制。目前主流方法往往难以同时解决两个核心问题:其一,缺乏针对主动毫米波图像独特退化特征的针对性特征增强手段,导致从低质量数据中提取的特征不够稳健;其二,无法为因视角和遮挡而外观差异较大的正反视图中的同一目标建立可靠的对应关系,因而无法充分利用这些互补信息的优势。
为系统性地解决这些挑战,本文提出了SWiT-Match这一融合小波增强与显式双视图匹配的检测框架。该框架的核心创新点包括:
我们设计了SWiT-FNet前端网络,通过将离散小波变换的频域分析与空间特征路径深度整合,增强了原始图像中弱纹理和模糊边缘的表达能力。
我们提出了DualView-Match机制,其中的核心SameLocationHead通过非对称注意力机制建模不同视图之间目标的对应关系,从而克服因外观差异带来的匹配难题。
我们构建了一个端到端的多任务学习框架,该框架能够协同优化物体检测与双视图匹配任务。
我们提供了经过改进的公共数据集基准(THz-DualView),以便进行公平比较并推动后续研究发展。
本研究旨在为解决主动毫米波图像质量低以及双视图检测场景的复杂性问题提供更为有效的解决方案。
本研究是一项面向实际应用的算法创新研究,重点提升主动毫米波双视图违禁品检测的准确性与稳定性。所提出的SWiT-Match框架兼具方法上的创新性与工程上的实用性。
章节节选
相关工作
本节对与主动毫米波图像物体检测相关的现有研究进行了全面梳理。我们从三个关键角度对以往的研究进行了分类与讨论:应用于主动毫米波图像的基于深度学习的物体检测方法、安全检查场景中的多视图检测与匹配策略,以及用于提升低质量图像质量的特征增强技术。通过分析这些相关研究,我们明确了当前的技术水平,并指出了存在的局限性。
proposed方法
为了解决之前分析过的主动毫米波图像检测中的核心问题——图像质量低下、难以检测小型物体以及未能充分利用双视图信息——本节详细介绍了所提出的SWiT-Match框架。该框架采用专门设计的SWiT-FNet前端网络进行针对性特征增强,利用Swin Transformer作为核心模块提取多尺度特征,从而实现高效的双视图目标检测。
数据集
为全面评估所提出方法的有效性及泛化能力,本研究使用了两个具有代表性的数据集:一个是公共数据集,即用于隐蔽物品检测的主动太赫兹成像数据集(THz-Det)[42],该数据集可用于与现有的先进方法进行公平比较,并验证该方法的通用性;另一个是大规模私有数据集,即双视图毫米波数据集(DualMMW),该数据集旨在收集具有真实安全应用场景的数据。
结论
本文针对主动毫米波安全检查图像物体检测中长期存在的核心问题,即信噪比低、边缘模糊、纹理特征弱,以及正反双视图之间目标外观差异显著等问题进行了研究。我们提出了SWiT-Match,这是一种经过小波增强的双视图物体检测框架,专为解决这些问题而设计。该框架通过两个相互协作的核心组件来解决这些难题:首先是SWiT-FNet,
CRediT作者贡献说明
蔡文燕:撰写——初稿、验证、软件、方法论、研究、正式分析、概念构思。马继华:可视化、验证、软件、研究、数据整理。娄志江:撰写——审阅与编辑、验证、资源、方法论。兰伟涛:验证、软件、资源、数据整理。王汉超:可视化、验证、软件、数据整理。何一凡:撰写——审阅与编辑、监督、资源、方法论。贾宝志:撰写
利益冲突声明
作者声明不存在任何可能影响本文研究结果的已知财务利益冲突或个人关系。
致谢
本研究得到了中国国家自然科学基金(项目编号:62403328)、深圳职业技术学院科研基金(项目编号:602331012PQ)以及中国工业控制技术国家重点实验室开放研究项目(项目编号:ICT2025D14)的支持。
蔡文燕|马继华|娄志江|兰伟涛|王汉超|何一凡|贾宝志
中国浙江省湖州市湖州师范学院工程学院,邮编313000