《Array》：The Embedded Vision Preprocessing Co-Design Framework (EVP-CDF): Methodology and Decision Procedure for Real-Time Detection Pipelines
编辑推荐：
在嵌入式目标检测管线中，预处理通常被视为一种固定的实现细节，尽管它在塑造检测器输入分布以及直接促成端到端延迟、吞吐量和时序稳定性方面具有双重作用。研究人员提出了嵌入式视觉预处理协同设计框架(EVP-CDF)，这是一个可重用的方法论框架，它将预处理形式化为面向嵌
在嵌入式目标检测管线中，预处理通常被视为一种固定的实现细节，尽管它在塑造检测器输入分布以及直接促成端到端延迟、吞吐量和时序稳定性方面具有双重作用。研究人员提出了嵌入式视觉预处理协同设计框架(EVP-CDF)，这是一个可重用的方法论框架，它将预处理形式化为面向嵌入式单级检测器的约束感知协同设计空间。EVP-CDF集成了三个耦合的杠杆：训练时光度增强选择、边界输入缩放策略选择（归一化与标准化变体）以及带有明确执行训练-推理预处理对齐的推理管线优化。两种方法工件将该框架付诸实践：对齐矩阵(PAM)，它提供了不匹配类型（统计、几何、光度和实现层面）的分类法及其预期的部署失效特征；以及一个证据引导的决策流程，该流程在精度、延迟、吞吐量、内存和抖动约束下选择一个可行的管线，同时返回一个可审计的对齐检查表。此外，还提出了一个最小报告规范(MR-Spec)，以标准化预处理披露、时序分解、尾延迟和抖动报告以及部署上下文文档。用于支持该框架的所有定量证据主要来自三篇先前的同行评审研究，并由在COCO128上进行的针对性跨域消融实验予以补充，该实验在不重新训练或修改数据集的情况下隔离了预处理不匹配的影响。
在机器人、工业检测和移动感知等资源受限的平台上部署深度神经网络(DNN)目标检测器，已成为一项核心工程任务。在这些场景中，端到端性能不仅受限于检测质量，还受到延迟、吞吐量、内存占用等系统约束的直接影响。尽管模型侧的技术（如压缩、量化和剪枝）已十分成熟，但预处理管线往往被视作固定的实现细节而被忽视。事实上，预处理不仅塑造了检测器的有效输入分布，还处于实时推理的关键路径上，对计算成本和时序变异性具有重大影响。当前广泛使用的工具链普遍采用“一刀切”的预处理默认配置，这些配置多基于基准测试约定，而非针对特定部署环境的传感与计算约束。这种默认优先的工作流往往会静默引入可避免的不匹配类型，并导致可预测的失效特征，而这些问题常被误归咎于模型容量不足或训练不充分。此外，当前应用工程文献在评估时多采用单一的平均延迟指标，忽略了嵌入式系统极为敏感的尾延迟和抖动，且未将预处理开销与神经网络推理时间分离开来，导致难以诊断系统瓶颈。
为了填补这些空白，研究人员提出了一套可重用的方法论与框架贡献。该研究并非提出新的检测器架构或宣称新的实验发现，而是将预处理形式化为一个约束感知的协同设计空间，并提供一套决策流程以验证和选择部署就绪的管线。该框架将通常独立优化的三个环节统一起来，并在精度、延迟、吞吐量、稳定性和资源使用之间寻求平衡。该论文发表于《Array》。
研究使用的主要关键技术方法包括：首先，形式化了预处理对齐矩阵(PAM)这一分类法，用于将不匹配类别映射至部署失效特征；其次，设计了基于规则的约束感知决策引擎（Algorithm 1），通过数学管线选择流程在多维约束下进行可行性筛选与排序；最后，提出了最小报告规范(MR-Spec)以标准化预处理披露和时序指标记录。研究证据主要来自三项先前的同行评审研究，涉及基于YOLOv8的农业视觉数据集（包含14,150张图像及5,000张外部图像）和一阶段检测器；作者还引入了在公开的COCO128数据集上使用YOLOv8n进行的跨域推理级消融实验，以隔离预处理不匹配效应。
设计空间与对齐形式化：研究人员将嵌入式目标检测系统建模为包含输入获取、预处理、检测器与后处理的端到端映射。预处理被结构化为三个协调杠杆：训练时光度增强设计（Lever 1）、边界输入缩放策略选择（Lever 2）以及带有对齐强制执行的推理管线优化（Lever 3）。研究将训练-推理预处理对齐定义为一种显式契约，要求部署管线在算子语义和参数化上保持等效。为实现可诊断性，引入了预处理对齐矩阵(PAM)，将不匹配分为统计偏移、几何偏移、光度偏移和实现偏移四类，并将其映射至精度下降、置信度偏移、外部泛化失效等可测量特征。
训练时增强（证据块一）：通过一套控制协议评估多级顺序光度增强设计。研究总结证据表明，对比度操作在测试光度变换中提供了最理想的折衷方案；而组合变体的性能低于最佳单一变换选择，表明盲目叠加光度算子会引入适得其反的变异性。这支持了光度增强应作为受控设计选择的理论基础。
输入缩放与泛化（证据块二）：基于不同缩放策略评估内部验证性能和外部泛化能力。研究表明，归一化管线在内外验证中表现稳定，而数据集标准化在外部数据上表现出最严重的性能崩溃。该证据支持了三条工程规则：外部部署偏向归一化、数据集标准化风险标记以及操作点报告要求。
推理管线优化与对齐（证据块三）：评估推理时预处理修改如何与对齐及可部署性指标交互。通过实验证实在未进行对齐重新训练时，仅修改推理管线会大幅降低精度；而在对齐重新训练后，精度得以恢复并兼顾了效率提升。这证明管线优化仅在明确的对齐契约下才是允许的。
统一权衡与决策流程应用：将三个证据块综合为紧凑的规则集。约束可行性优先于优化，稳定性被视为第一类指标。通过证据引导的筛选规则，算法在满足约束的候选管线中，利用考虑延迟与抖动权衡的目标进行排序，并输出所选管线配置及对齐验证检查表。
跨域消融实验：为探究预处理的普适性，在COCO128数据集上针对YOLOv8n进行软件级消融。研究得出结论，未对齐光度预处理（BGR与RGB混用）导致mAP@50相对下降11.4%；而用Z-score标准化替换Min-Max缩放则导致检测精度相对大幅退化61.0%。这些结果支持了PAM风险排序。
研究结论部分指出，嵌入式视觉预处理协同设计框架(EVP-CDF)作为一种面向部署的方法论，能够形式化预处理环节并配置嵌入式YOLOv8管线。EVP-CDF通过预处理对齐矩阵(PAM)将不匹配类别映射至预期的失效特征，并通过约束感知、证据引导的决策流程筛选不可行的配置，提供所选管线规范与可审计的对齐检查表。通过引入最小报告规范(MR-Spec)，研究强制要求明确预处理算子链、时序分解、延迟分布与测量上下文披露。这些输出使嵌入式目标检测管线在真实约束下更具可预测性、可诊断性与可部署性。而随着广泛的硬件多样性和其他检测器家族验证被列为未来工作，目前的定量证据严格支持了所提方法的基础逻辑。
