计算机视觉应用中的数据漂移处理——零售和快餐店监控案例研究

《Information and Software Technology》：Dealing with drifting data in computer vision applications. A case study of retail and quick service restaurants monitoring

　　

## 摘要

**背景：** 在真实环境中运行的计算机视觉系统面临着持续的质量挑战。除了基于机器学习的软件开发环境中普遍存在的标准问题外，不断漂移的数据增加了交付不符合预期需求的解决方案的风险。这一根本性障碍——即数据漂移——是指数据分布随时间变化的情况，从而导致模型性能下降。

**目标：** 本文介绍了一项基于工业实践的研究，由此开发出一种专门针对在无限制数据采集环境中运行的基于机器学习的计算机视觉应用程序的质量保证方法。基于我们在DTiQ的工业实践经验，我们提出了一个多维度框架，涵盖配置管理、性能指标选择、数据代表性评估以及漂移检测策略等具体方面。

**方法：** 本文详细阐述了在无限制环境中通过计算机视觉进行监控系统开发的若干方面。提出了一种适用于此类场景的多维度增量式软件开发方法，特别关注质量保证流程。讨论围绕DTiQ开发的一个特定计算机视觉系统的案例研究展开。

**结果：** 我们的方法为从业者提供了可操作的决策支持，包括：(1) 识别易发生漂移的场景，(2) 选择适当的监控指标，(3) 实施纠正性干预措施。

**结论：** 本文提供了工业计算机视觉系统中数据漂移的规模化实证评估。我们展示了所提出的质量保证方法在实际部署条件下的应用效果。研究涵盖了数据漂移的诊断、针对性模型和配置变更的评估，以及对系统准确性和稳定性影响效果的衡量。通过这些，我们验证了该方法的有效性。

## 引言

基于机器学习（ML）系统的开发，特别是利用计算机视觉（CV）技术的系统，已在医疗、制造、交通、安防和零售等多个领域开辟了新的机遇。据Grand View的报告[1]，2024年该市场规模估计为198.2亿美元，预计到2030年将以19.8%的复合年增长率增长，达到582.9亿美元。计算机视觉技术已从实验研究阶段迈入成熟期，成为日益影响日常生活的重要系统基础。

然而，这些技术的快速部署速度并未伴随综合性质量保证（QA）框架的同步发展，而这些框架本应反映这些系统的复杂性。鉴于其应用于高风险决策场景，质量问题对系统供应商和最终用户都有可衡量的后果。缺乏健全的质量保证实践可能导致严重后果，包括系统故障、误诊、糟糕的商业决策以及更广泛的社会危害。此类故障会损害对机器学习系统的信任，并带来重大的财务、声誉和伦理风险。因此，实施可靠的、系统化的质量保证实践对于确保基于机器学习解决方案的可靠性、安全性和可追溯性至关重要。

计算机视觉应用面临的主要问题是必须应对不断漂移的数据。在无限制环境中运行的计算机视觉应用，在开发和维护过程中必须对数据漂移检测和缓解问题给予极大的关注。

尽管这一问题至关重要，但当前机器学习——尤其是计算机视觉领域——的质量保证流程成熟度仍然较低且碎片化。在实际操作中，质量保证主要集中在技术性能指标上，如准确率、精确率、召回率或F1分数。更广泛的维度，如商业影响、可用性、数据漂移韧性以及用户体验，很少被纳入评估协议。这些差距主要源于缺乏标准化的全面方法论来评估基于机器学习产品的质量，以及建立和维护此类框架的相对高昂成本。目前，仍缺乏广泛接受的术语体系、超出技术性能之外的共享有效性基准，以及涵盖基于计算机视觉系统整个生命周期的既定流程——从数据采集到运营部署。

在商业环境中，这一问题因透明度不足而进一步加剧。组织通常不愿公开内部质量保证实践，将其视为竞争性资产。在许多情况下，这种不公开的态度掩盖了正式、成熟的质量保证流程的缺失。因此，知识仍然分散，行业标准缺乏，关于机器学习质量保证——尤其是计算机视觉应用——的科学文献也有限。现有研究很少提供实用的操作指导。

这些挑战由结构性和市场因素驱动。人工智能领域高度竞争的性质使得组织不愿披露可能揭示商业逻辑或数据细节的方法。此外，技术变革的动态速度——新的模型架构、数据格式和部署环境——使得开发和维持一致的质量标准变得困难。许多组织采取被动式质量保证方式，仅在问题出现后才进行处理，这在关键应用领域尤为风险。此外，技术团队（数据科学家、工程师）与业务利益相关者之间经常存在脱节，导致对"质量"的定义和重要性产生分歧的理解。

在本文中，我们旨在通过对Entry Count（进店计数）这一生产级机器学习应用的实证研究来应对这些挑战，并以此为基础阐述一个全面的、面向系统的质量保证方法，重点关注计算机视觉领域。我们的分析超越了模型层面的评估，涵盖整个流程——从数据采集和模型训练到实时推理以及与业务工作流的集成。我们概述了预防性质量保证策略的示例，这些策略能够主动识别潜在问题，而不是依赖被动响应。

由于计算机视觉程序的应用领域会施加某些重要限制，我们需要说明我们的研究背景。具体来说，我们的研究对象是快速服务餐厅和零售场所的监控。

再次重申，本文的主要贡献如下：

- 对工业计算机视觉系统中数据漂移的生产级实证研究，并辅以所提出质量保证方法的运营框架支持。包括诊断漂移数据、评估针对性的模型和配置变更，以及在真实部署条件下衡量其对系统准确性和稳定性的影响。
- 展示基于计算机视觉的软件开发的多维度方法。
- 详细讨论无限制环境的复杂性和相互关联性及其对数据漂移的影响。开发了一套具体措施（包括自定义指标和质量标准），以标准化评估并确保高质量的软件交付。
- 提出关于软件配置和设置的具体解决方案，以及其在无限制环境中主动质量控制方面的作用。

我们认为，我们的贡献将有助于推动机器学习质量保证实践的标准化，同时考虑技术维度（如模型架构、实时处理）以及运营、组织及业务相关方面。

本文的其余部分结构如下。第2节回顾数据漂移分析，并综述现有的基于机器学习系统质量监控方法论。第3节介绍我们的实证研究背景，概述我们生产系统的细节，并为基于计算机视觉的软件开发框架设计提供背景。第4节介绍具体案例研究，涵盖通过测试各种配置所取得的具体结果。第6节总结全文。

### 相关工作片段：生产级机器学习系统中的漂移分析与质量保证

在以计算机视觉为核心组件的信息系统中，关注焦点在于所处理的数据。我们的首要假设是，我们讨论的是一个技术上已经成熟的信息系统，我们并非处于初始实验阶段。这一假设源于这样一个事实：技术上成熟的解决方案应配备相应先进的质量保证技术，而这正是本文的核心主题。在此背景下……

### 工业背景片段：Entry Count部署与质量保证挑战

本节介绍我们正在开发的系统。讨论使我们能够为进一步面向研究的基于计算机视觉软件开发质量保证分析建立背景。由于数据漂移的性质和具体表现高度依赖于领域，我们需要使讨论聚焦，以便为潜在读者提供价值。如果不聚焦于具体案例研究，我们最终只能停留在一般性讨论层面。相反，在本文中，我们提供……

### 实证研究片段：漂移诊断、干预措施与结果

本节介绍本文的核心实验研究。我们分析了Entry Count系统在三个运行阶段的表现：初始部署期、漂移检测期和干预后稳定期。研究围绕三个问题展开：

- 在产品扩展过程中出现了哪些形式的漂移
- 采取了哪些干预措施来应对这些漂移
- 这些干预措施如何改变了Entry Count在不同品牌、入口类型和摄像机……下的准确性和稳定性

### 有效性和可迁移性威胁

由于所提出的方法论是在真实生产环境中开发和评估的，其可迁移性应从哪些内容可以合理地作为流程进行推广，以及哪些内容仍然依赖于特定部署环境来理解。研究提供的是一个已部署系统在时间序列上的演进证据，而非在受控实验设计中隔离每个方法论组件的结果。这使得研究结果对于理解……具有价值

### 综合分析与结论

鉴于数据漂移的多层次和相互关联特性，在本文的最后部分，我们希望呈现一个顶层框架图（图10），总结第4节中关于改进对系统稳定性和质量的影响、实证结果的批判性分析与总结的讨论内容。

该图概述了基于计算机视觉的系统是各种组件的组合，各组件之间相互影响。在Entry Count系统的案例中，我们从……开始

### CRediT作者贡献声明

Agnieszka Bier：写作–审阅与编辑、写作–原稿撰写、可视化、验证、方法论、调查研究、形式分析、概念构思。

Krzysztof Osiński：写作–审阅与编辑、写作–原稿撰写、可视化、验证、方法论、调查研究、形式分析、概念构思。

Michalina Wojtkowska：写作–审阅与编辑、写作–原稿撰写、可视化、验证、方法论、调查研究、形式分析、概念构思。

### 利益冲突声明

作者声明不存在可能影响本文所报告工作的已知竞争性财务利益或个人关系。

### 致谢

本研究部分得到了国家研发与创新中心在项目编号POIR.01.01.01-00-1141/19下的支持，项目名为"快速服务餐厅智能损失预防与质量监控系统开发"。

作者感谢DTiQ数据科学团队成员对本论文中数据收集和实验工作做出的宝贵贡献。

### 作者信息

Agnieszka Bier | Krzysztof Osiński | Michalina Wojtkowska | Agnieszka Jastrz?bska

西里西亚理工大学，波兰，格利维采，Kaszubska 23，邮编44-100