通过基于生成对抗网络的合成X射线图像生成技术提升威胁目标检测能力

《Image and Vision Computing》:Enhanced threat object detection through generative adversarial networks based synthetic X-ray image generation

【字体: 大 中 小 】 时间:2026年06月14日 来源:Image and Vision Computing 4.2

编辑推荐:

  阿查娜·辛格|迈克尔·刘易斯|迪拉吉 印度皮拉尼CSIR-中央电子工程研究所,邮编333031 摘要 在X射线图像中检测违禁物品对于机场、活动场所及政府的安全检查至关重要。手动检查每张图像不仅耗时,还容易出错。因此,自动化的重要性不言而喻。利用深度学习进行物体检测是

  阿查娜·辛格|迈克尔·刘易斯|迪拉吉
印度皮拉尼CSIR-中央电子工程研究所,邮编333031

摘要
在X射线图像中检测违禁物品对于机场、活动场所及政府的安全检查至关重要。手动检查每张图像不仅耗时,还容易出错。因此,自动化的重要性不言而喻。利用深度学习进行物体检测是一种解决方案,但需要大量标注数据。而X射线图像领域的此类数据极为有限。为克服这一难题,我们首先提出了一种基于方向的主成分分析(PCA)违禁物品类内分类方法。借助这种考虑方向的分类方式,我们进一步提出了一种改进的威胁图像生成方法,该方法采用经过定制的生成对抗网络(GAN),并融入残差块、自注意力机制以及特征匹配损失函数。生成的威胁样本最初通过基于CNN的图像分类模型(VGG16、ResNet101、EfficientNetB4)进行评估,结果证明这些模型可有效弥补威胁数据不足的问题。随后,这些合成威胁图像通过一种定制的基于邻域密度的技术映射到真实的X射线行李图像中,从而形成用于训练物体检测模型(YOLOv8和Cascade R-CNN)的增强数据集。在真实数据集以及真实数据与合成数据结合的数据集上进行的图像分类实验显示,GDXray(灰度图)数据的准确率从93%提升至98%,SIXray(伪彩色图)数据的准确率从89%提升至92%,XBT-Det(内部数据集,伪彩色图)数据的准确率从96%提升至99%。同样,物体检测实验也显示出显著提升:在GDXray数据集上平均精度均值从69.6%上升至76.5%,在SIXray数据集上从72%上升至77.3%,在自定义的XBT-Det数据集上从71.9%上升至82%。所提出的方法通过生成逼真且考虑方向的合成威胁图像,有效提升了模型的性能,弥补了训练数据的不足。

引言
X射线安全系统在火车站、机场等人员流量大的场所发挥着重要作用,它通过检测武器、爆炸物和毒品等违禁物品来保障安全和秩序。X射线成像技术能够对行李进行非侵入式检查,从而提升安全性。该技术基于不同材料吸收X射线的能力差异。当X射线穿过行李时,其吸收程度会因物体的密度、原子序数和厚度而有所不同[1]。这类技术可实现实时扫描,并能识别出可能隐藏在行李、货物甚至携带者身上的威胁物品。传统的行李筛查方法依赖大量人工操作,由于疲劳、认知负担过重以及判断失误等因素,往往效率低下且容易出错[2]。而深度学习技术的应用则通过完全自动化筛查流程,精准快速地识别违禁品,有效解决了这一问题。利用卷积神经网络(CNN)、基于变换器的架构以及合成数据生成技术,可以进一步提升这些系统的性能,提高准确率和效率,从而使安保人员能够更快、更准确地做出决策[3][4][5][6][7][8]。

然而,上述技术要想达到高精度,就需要大规模的数据集。目前现有的开源X射线图像数据集并无法满足深度学习模型训练的需求。此外,尤其是具有不同姿态和尺寸的违禁物品相关X射线图像极为稀缺,这也构成了一个重大挑战[9]。在计算机视觉领域,为了提升模型的泛化能力,通常会采用平移、旋转、翻转和缩放等传统数据增强技术,尤其是在面对数据量有限的情况时。为解决这一问题,研究人员开始使用生成对抗网络(GAN)[10][11][12][13][14]来生成合成数据。GAN生成的数据能够模拟不同的姿态、角度和物体变化,这些数据虽与真实数据极为相似,但又具备足够的差异性,有助于丰富训练数据集,这比传统的数据增强技术更具优势。不过,要生成能够保持关键视觉细节、从而实现精准检测的高质量合成X射线图像依然是一项挑战。因此,本文提出了一种基于GAN的合成图像生成模型,该模型能够生成多种姿态下的逼真图像。本文的贡献如下:
•为应对物体不同姿态带来的挑战,我们采用主成分分析(PCA)根据违禁物品的方向对其分类。这种按方向分类的方式有助于构建结构化的、针对特定类别的数据集,这些数据集随后被用于GAN的训练。
•我们提出了一种新的GAN架构,通过在WGAN-GP的生成器中加入残差块和自注意力机制,并在训练过程中引入特征匹配损失函数,从而实现更高效的威胁图像生成。该设计能够为每个违禁物品类别生成多样且逼真的图像,有效捕捉物体姿态的差异。
•我们在WGAN-GP的判别器卷积模块中加入了注意力机制,以提高其区分真实图像与生成图像的能力。这一机制能够引导生成器产生符合预期风格的图像,同时减少结构上的不匹配、颜色不一致以及原始图像内容丢失的问题。
•我们提出了一种新的训练后样本选择方法,该方法同时利用已训练好的生成器和判别器,通过结合判别器的真实度评分、与真实数据的特征相似度以及潜在向量分析,选出最逼真且语义一致的样本。
•这些合成威胁图像随后通过基于邻域密度的方法映射到真实的X射线行李图像中,从而形成用于训练物体检测模型的增强型行李数据集。

所提出的方法通过基于PCA的方向分类以及经过改进的、包含残差块、自注意力机制和特征匹配损失函数的WGAN-GP架构,构建了一套基于GAN的威胁图像生成流程。同时,生成的威胁样本会被映射到真实的行李X射线图像中,进而形成用于训练基于深度学习的物体检测模型的增强训练数据集。本文的结构如下:第2节介绍相关研究工作,第3节阐述所用数据集的详细情况,第4节说明所提出的工作流程,第5节对所提模型进行定量和定性评估,第6节描述图像合成过程,第7节呈现实验结果及分析,第8节通过消融实验验证所提方法的有效性,第9节则总结全文并提出后续研究建议。

相关研究
用于物体检测和图像分类等任务的深度学习架构,比如基于卷积神经网络(CNN)的Faster R-CNN、Mask R-CNN以及YOLO等架构,都需要大规模的数据集才能实现高精度[15][16]。大规模数据集有助于捕捉各种模式、变化和特征,从而避免过拟合,确保模型能够良好地泛化到未见过的数据上。

传统数据增强技术

数据集说明
为生成威胁样本,我们使用了两种类型的数据集。第一种是单通道数据集GDXray,另一种则是多通道数据集SIXray和XBT-Det(内部数据集)。GDXray数据集提供的是简洁的灰度X射线图像,而SIXray数据集则包含真实的杂乱背景和伪彩色映射。XBT-Det数据集则提供了包含多种类型威胁的定制化场景。具体说明如下:

提出的方法
为生成逼真的合成威胁图像,我们开发了一套能够解决训练数据不足、物体姿态多样以及类内差异等问题的一系列流程。如图1所示,该框架始于一组输入的威胁样本。这些样本首先经过图像预处理阶段,通过轮廓提取技术去除图像中的背景噪声,随后将图像调整至244×244像素的大小,同时保持一定的宽高比。

性能评估与与现有最佳方法的比较
为准确评估所提框架的效果,我们利用所采用的GAN架构以及所提出的方法生成合成威胁图像,并将其与现有的先进扩散模型进行比较。

图像合成:威胁图像映射
为了真实模拟物体检测等安全场景,需要完整的行李图像而非孤立的物体,因为在现实环境中,威胁物品总是出现在完整的行李扫描结果中。为此,我们将合成的威胁物体嵌入到相应数据集的原始图像中。这一过程能够创建出更加真实且符合实际场景的数据集,从而更有助于相关模型的开发和评估。

实验与结果
由于GAN生成的威胁物品是独立的个体,我们采用图像分类方法对其质量进行评估。而对于包含多个威胁物品的合成行李数据集,则使用物体检测方法来评估其质量。

消融实验
为进一步验证所生成图像在模型训练中的实用性,我们利用在原始数据及增强数据上训练得到的分类模型和检测模型,生成了类别激活图(CAM),以此可视化并对比模型所学到的特征表示。此外,我们还将所提出的方法与采用传统数据增强技术生成的数据集进行了对比,以进行全面评估。我们还特别关注了那些难以检测的样本,比如被遮挡或仅部分可见的物体。

结论
本文提出了一种利用GAN技术生成违禁物品合成X射线图像的框架,旨在提升安全检查中违禁物品的检测能力。在该框架中,为提高生成图像的质量,我们对违禁物品的分类采用了考虑方向的策略,具体是通过主成分分析(PCA)技术实现的。这些考虑方向的样本随后被用于训练一种定制的GAN模型,该模型融合了残差块等组件。

作者贡献说明
阿查娜·辛格:负责原文撰写、可视化设计、验证工作、方法设计、研究实施、正式分析、数据整理以及概念构思。迈克尔·刘易斯:负责原文撰写、数据整理工作。迪拉吉:负责可视化设计、验证工作以及项目监督。

利益冲突声明
作者声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。

致谢
作者感谢CSIR-CEERI的主任为这项研究提供了必要的研究条件。同时,作者也感谢新德里的UGC机构(编号F.82-44/2020 (SA-III))为该研究提供的资金支持。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号