一种基于视觉的零售结账扫描规避与异常监控系统

《Engineering Applications of Artificial Intelligence》：A vision-based system for monitoring scan-avoidance and anomalies at retail checkouts

　　

• •
  GoodTrack 检测零售结账处的扫描规避异常。
• •
  RetailGoods 基于真实结账录像构建，采用半自动标注方法。
• •
  改进的 YOLOv8 和 ByteTrack 增强了检测和跟踪的一致性。

引言

全球零售行业面临着来自损耗的持续挑战，这是一个涵盖多种来源损失的重大问题，每年造成的财务影响接近一千亿美元（Fan 等，2023）。其中，销售点（POS）或结账处的欺诈行为，如扫描规避和票据调换，由于其隐蔽性而尤为严重。扫描规避指的是顾客或员工在自助结账处有意或无意地未扫描所有商品即付款的策略。这包括诸如不扫描就装袋商品、遮挡条形码或执行其他操作以绕过扫描仪等方法。传统的防盗机制，包括电子商品防盗系统（EAS）和射频识别（RFID），往往无法有效应对这些挑战。例如，尽管在过去50年中持续进行技术创新，EAS 系统仍面临系统缺陷导致的高误报率等问题，并且需要大量人工时间在店内进行标签粘贴和停用操作。此外，它们主要作为出口报警器而非全面的交易监测系统运行（Sidebottom 等，2017）。同样，对每一件产品进行标签会使 RFID 推车在利润率紧张的大规模零售环境中变得不切实际（Kapoor 等，2009）。因此，这些局限性加上人工监督和事后分析的效率低下，凸显了迫切需要更先进、可扩展和主动的监控解决方案。这些迫切需求激发了显著的研究兴趣，正如最近的学术和工业竞赛如 AI City 挑战赛轨道所证明的那样（Naphade 等，2023）。

近年来，深度学习和计算机视觉的快速发展为下一代智能监控系统铺平了道路（Abbas 等，2019；LeCun 等，2015）。值得注意的是，目标检测算法已演变为高效的一阶段检测器，如 YOLO 系列，而多目标跟踪（MOT）技术，如 ByteTrack（Zhang 等，2022），在处理遮挡方面显示出显著改进。尽管这些技术在零售行业中得到了广泛部署（Patel，2024；Kalusivalingam 等，2020），但由于独特的领域特定障碍，它们在动态和拥挤的环境中防止结账盗窃的实际应用仍然具有挑战性。具体来说，目标检测受到杂乱场景中极端尺度变化和严重遮挡的阻碍。同时，MOT 在手动处理过程中频繁的快速加速和突然停止上遇到困难，这违反了标准的运动假设并使身份维持变得复杂。图1展示了真实零售结账中出现的复杂场景。使这些问题更加复杂的是缺乏用于检测器训练和评估的真实零售数据集。

为应对这些挑战，本文提出了 GoodTrack，一个专门针对零售结账监控的智能防盗框架。所提框架集成了改进的 YOLOv8 模型以实现精确的产品检测，并结合优化的 ByteTrack 算法以确保在密集场景中的稳健多目标跟踪。我们的贡献如下：

• •
  开发了一个新颖的大规模数据集RetailGoods，通过利用 Segment Anything Model 2（SAM2）（Ravi 等，2024）的高效半自动化管道实现。该数据集为在真实零售场景中训练和验证检测模型提供了坚实基础。
• •
  开发了优化的 YOLOv8 架构用于结账产品检测。该架构引入了所提出的空间可分离星（S-Star）模块用于各向异性特征提取，并通过将 S-Star 嵌入混合聚合结构构建 Man-Star 颈部。进一步采用先前的轻量级共享卷积检测（LSCD）头以减少预测开销。
• •
  用基于 IMM-KF 的自适应运动建模和基于 GIoU 的两阶段关联，分别替换了 ByteTrack 中的单模型运动预测和基于 IoU 的关联，改善了在突然运动、临时停止、快速位移和短期几何错位条件下的跟踪稳健性。
• •
  在真实数据集上进行了全面的实验验证，展示了与最先进基准相比在性能与效率之间的优越平衡。值得注意的是，系统在捕捉异常产品轨迹方面的能力在全天运营部署期间得到了确认。

本文其余部分组织如下：第2节回顾相关工作。第3节详细介绍框架设计与方法论。第4节展示实验及结果分析。最后，第5节对本文进行总结。

章节摘要

相关工作

我们智能防盗框架的开发建立在计算机视觉的显著进步之上，特别是在目标检测和多目标跟踪领域。本节对这些核心领域的相关文献进行了全面回顾，并审视了计算机视觉在零售部门的现有应用。我们突出了当前最先进的方法，同时指出了本文旨在解决的具体研究空白。

整体框架架构

图2展示了所提出的用于零售结账监控的智能防盗系统的整体框架。系统的流程从数据集构建阶段开始，该阶段精心从真实结账录像构建专用数据集。该数据集作为后续检测与跟踪阶段的基础，在该阶段中，改进的 YOLOv8 网络执行准确的产品定位，随后由增强

实验环境

本研究开发并评估了所提出的智能防盗系统 GoodTrack。表6总结了实验中所使用的硬件和软件环境以及超参数设置。

评估指标

为严格评估所提出的 GoodTrack 系统的性能，我们采用两组针对目标检测和多目标跟踪阶段的独立标准指标。

结论

本文提出了 GoodTrack，一个用于零售运营中自动检测扫描规避异常的端到端系统。在检测阶段，我们设计了改进的 YOLOv8 模型，集成了用于高效特征提取的 S-Star 模块、用于多尺度特征融合的 Man-Star 颈部以及轻量级 LSCD 头。该检测器达到了 71.52% 的 mAP@50-95，与 YOLOv8n 基准相比参数减少了 23.33%，GFLOPs 减少了 15.85%，同时保持实时

CRediT 作者贡献声明

Wang Yuanheng（王远衡）： 写作–原始草稿、可视化、验证、软件、方法论、调查、形式分析、数据整理、概念化。Zhang Yulong（张宇龙）： 写作–审阅与编辑、监督、方法论、调查。Zhu Yuhang（朱宇航）： 可视化、方法论、概念化。Xu Zhezhuang（徐哲庄）： 监督、项目管理、方法论。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系，这些可能影响本文报告的工作。

致谢

本工作由中国国家自然科学基金委员会资助，拨款编号 62603164 和 62573128。

Wang Yuanheng（王远衡） | Zhang Yulong（张宇龙） | Zhu Yuhang（朱宇航） | Xu Zhezhuang（徐哲庄）