VarSelect：面向低层视觉算子的QoS可调稀疏计算统计引导框架

《Journal of Imaging》：VarSelect: A Statistically Guided Framework for QoS-Tunable Sparse Computation in Low-Level Vision Operators

　　

低层视觉流水线常对局部算子进行稠密求值，包括响应微弱的均质区域。研究人员提出VarSelect，一种确定性、免训练的选择性计算框架，将常数时间局部统计门控与兼容经典算子的执行解耦。研究人员在实现对齐的CPU条件下，使用BSDS500验证集和冻结的200幅图像测试集进行评估，以Sobel进行校准，并迁移至Scharr和Laplacian，开展分辨率/复杂度分析、精细化处理以及受控的Sobel 3×3–5×5算子成本实验。在验证集选定的工作点k = 7（局部统计窗口尺寸）和κ = 0.5（门限乘数）下，25.6%的测试像素被选中。Sobel和Scharr在原始响应计算上实现了原生C中位加速比1.545×/1.549×（标量审计）和1.149×/1.174×（优化原生），而Laplacian仍低于持平线，揭示了极低成本算子的盈亏平衡极限。在冻结阈值下，VarSelect-SR对Sobel、Scharr和Laplacian分别保留了Dense + SR F1的87.4%、87.1%和91.9%；Sobel保留率略低于90%目标，而全曲线ODS F1下降了1.66%。在独立的二次分析中，将Sobel成本从每像素18个标称乘累加贡献增至50个，使加速比从1.50×提高到2.68×，门控贡献从0.489降至0.191。对同一场景的十次各向同性重缩放，加速比保持稳定且无需重新调参。这些结果支持一个具有算子无关接口的QoS可调框架；质量和收益性仍依赖于算子、阈值策略和实现。

**研究背景与问题**：低层视觉算子在嵌入式感知、机器人及工业检测中受延迟、内存流量和能耗约束，但通常在整幅图像上稠密求值，包括响应微弱的均质区域。1080p@60 fps下需处理超过120 Mpx s^?1，促使研究者探索在保持下游语义的前提下减少稠密算子求值的选择性计算机制。经典流水线虽已利用局部统计和启发式掩码进行任务特定的选择性处理，但所综述的经典方法将选择与特定流水线耦合。方法学空白在于缺乏一种可复用、免训练的选择器，该选择器与可互换的局部算子解耦，在接受的像素上保留稠密算子响应，并将选择率作为工作量、成本与质量之间的显式纽带。为此，研究人员提出VarSelect——一种确定性服务质量（QoS）可调元算子，将局部统计选择与目标算子执行分离。

**研究内容与结论**：研究人员将VarSelect构建为可复用的免训练选择性计算框架（C1），实例化基于积分图局部统计的像素级激活门（C2），推导连接选择率、门控开销与封装算子成本的一阶成本–选择模型（C3），并在经典局部算子上提供可复现的实现对齐评估（C4）。结论表明：在评估的Sobel–Scharr–Laplacian范围内，VarSelect在接口层面算子无关，但收益性依赖算子与实现，最适合确定性流水线中活动支撑稀疏、算子成本足以摊销门控且显式质量预算可接受的场景。

**关键技术方法**：采用积分图（summed-area tables）以O(1)每像素复杂度计算局部均值与标准差；以κ为QoS变量、k为统计支撑构建门控激活图，仅在接受像素上执行兼容局部算子并保留其稠密定义；可选3×3二值膨胀进行形态学精细化（ρ = 1）；在原生C下以标量审计与优化原生两种编译机制进行配对计时，采用10,000次配对自助重采样估计95%置信区间；使用BSDS500官方100幅验证集校准、200幅官方测试集冻结评估，另用168幅图像子集（64训练/40验证/64测试）进行二次分析，并以单场景十次各向同性重缩放评估分辨率稳健性。

**研究结果**：

4.1 门控评估与基于Sobel的工作走廊校准：通过受控合成案例与匹配密度消融表明，G1门控相对匹配随机选择保留显著更多的Sobel响应能量（ΔRE = +0.0564，95% CI：0.0490–0.0639），但方差排序替代方案Gvar在同一选择计数下保留更多响应能量（ΔRE = +0.3980），说明门控有效但非最优；在12点（k,κ）网格上，κ主导稀疏化程度，原始判据下k = 7、κ = 0.5为可行配置中平均选择率最低者（psel = 0.2567），验证集退化9.59%，冻结后在官方测试集上psel = 0.2563，匹配精细化比较下退化为12.63%。

4.2 通过理想稀疏界与残差分析评估成本模型：在psel = 0.2563下理想稀疏界约为3.90×，但实测加速低于该界；组件感知模型M2相对一阶模型M1将RMSE降低约22.5–56.0%，但仍存在可测残差，表明选择率定义稀疏机会而转化为物理加速的程度取决于算子成本与实现开销。

4.3 场景内分辨率缩放：在k = 11、κ = 0.7的固定配置下，同一高分辨率场景十次各向同性重缩放（约0.95至95.10 Mpx）的加速比紧密聚集于1.36×附近（SD ≈ 0.017），未见分辨率驱动趋势。

4.4 全局复杂度描述符与选择率解释：熵、强度方差、Laplacian方差和Tenengrad能量的R²均较低，而psel在k = 11、κ = 0.7下达到约R² = 0.49，表明实际执行的工作量描述符是门控产生的活动支撑密度而非全局图像简洁度。

4.5 校准门控的算子级泛化：在相同冻结门控与平均psel = 0.25629下，标量审计执行中Sobel和Scharr中位加速比为1.545×和1.549×，Laplacian仅0.199×；优化原生执行中分别为1.149×、1.174×和0.033×，表明收益性是算子–实现对的属性。受控算子成本缩放实验显示，Sobel 3×3与5×5在固定激活机制下平均加速比从1.504×增至2.676×，门控相对贡献从0.489降至0.191，且该趋势在全部168幅图像上成立（Wilcoxon检验p = 1.27 × 10^?29）。

4.6 VarSelect-SR的全流水线质量评估：在匹配空间精细化控制下，空间精细化提升VarSelect的F1（Sobel从0.4313至0.4494），但同样改变稠密参考（0.5094至0.5144），同精细化保留率为87.37%；全精确率–召回率表征中Dense与VarSelect-SR的ODS F1分别为0.51005和0.50156（相对差异1.66%），ODS阈值分别为0.2600和0.16131，跨算子数据集F1保留率为Sobel 87.37%、Scharr 87.09%、Laplacian 91.88%，质量结论依赖阈值策略。

4.7 固定工作点的定性验证：代表性案例按每图像F1_VS?SR/F1_Dense+SR分布选取中位保留、高保留与挑战性行为，定性说明选择性执行可移除部分弱轮廓结构而空间精细化可重连部分支撑。

4.8 研究问题与贡献的证据映射：综合分析表明该方法可作为可控稀疏计算机制进行校准，其行为遵循实现现实主义的成本–选择解释，校准门控在语义上可迁移至兼容局部算子并揭示可预测的算子依赖收益性极限。

**讨论与结论总结**：讨论部分指出，VarSelect的贡献不在于发明局部μ + κσ阈值、积分图评估或选择性处理本身，而在于将选择视为可复用、免训练的免训练计算接口，分离“何处计算”与“计算什么”，并在冻结评估协议下显式表征工作量、算子保真度、任务质量与实际运行时间。结果界定了明确的范围条件：当封装算子成本相对选择与条件执行开销足够大时最适用；经验证据限于Sobel、Scharr和Laplacian，分辨率分析限于单场景各向同性重缩放；验证集选定的固定阈值质量预算在独立测试数据上略有超出；门控选择仍是开放设计维度。结论部分翻译如下：本文提出VarSelect作为一种面向兼容经典低层视觉算子的确定性、统计引导选择性计算框架。该框架将选择性执行形式化为QoS可调元算子，其中局部统计证据定义活动计算支撑，而封装算子在接受像素上保留其稠密定义。通过统计支撑k、选择性参数κ和经验选择率psel，VarSelect使成本–质量权衡显式且可测。在BSDS500验证集上的校准确定k = 7、κ = 0.5为具有最低平均选择率的可行工作点，并在独立测试评估前冻结。Sobel和Scharr在两种原生C执行机制下均加速原始响应计算，而Laplacian远低于运行时间持平线，暴露了极低成本算子的收益性极限。理想界1/psel仍是上界参考而非精确运行时间预测器，并高估实测加速，因为门控、控制、内存和输出成本仍然存在。相反，受控Sobel 3×3–5×5实验与该直接模板实现下选择性执行随封装算子成本增加而更具收益性的发现一致。每图像残差进一步表明一阶模型是解释性的而非精确的。在单场景十次各向同性重缩放中，相对加速比无需重新调参即保持稳定，且psel比所评估的全局复杂度描述符更好地解释加速比。尽管选择性可提高SSIM，但当被拒绝支撑与相关边界相交时可能降低召回敏感的轮廓质量；然而，零输出对照表明SSIM本身不足以确立轮廓保持。冻结的固定阈值质量预算在独立测试数据上未经重新调参即略有超出，而匹配空间精细化改善轮廓质量，但必须对照同等精细化的稠密控制来解释。匹配密度消融进一步表明所实例化的门控并非最优：方差-only替代方案在同一选择计数下保留了显著更多的Sobel响应。总体而言，在所评估的Sobel–Scharr–Laplacian范围内，VarSelect在接口层面算子无关，但在收益性上依赖算子与实现，最适合活动支撑稀疏、算子成本足以摊销门控且显式质量预算可接受的确定性流水线。