一种考虑不确定度的基于核方法的回归算法：广义最小二乘支持向量机(Generalized Least Squares Support Vector Machine, GLS-SVM)

《Metrology》：An Uncertainty-Aware Kernel-Based Method for Regression: The Generalized Least Squares Support Vector Machine

　　

在高风险领域部署机器学习模型时，对预测不确定度(uncertainty)进行稳健评估至关重要。尽管高斯过程(Gaussian Processes, GPs)和贝叶斯神经网络(Bayesian Neural Networks, BNNs)等技术已被用于解决模型不确定度问题，但常忽视与输入数据相关的测量不确定度，特别是异方差(heteroscedasticity)与自相关(autocorrelation)。研究人员提出了广义最小二乘支持向量机(Generalized Least Squares Support Vector Machine, GLS-SVM)，一种将响应变量的完整方差-协方差矩阵(variance–covariance matrix)纳入训练过程的基于核(kernel-based)的回归模型。研究人员建立了符合《测量不确定度表示指南》(Guide to the Expression of Uncertainty in Measurement, GUM)的方法论以评估预测不确定度，包含对模型偏差(bias)的修正。通过两个案例——含相关数据(correlated data)的模拟回归问题及质量流量控制器(mass flow controller, MFC)校准——将模型性能与标准最小二乘支持向量机(Least Squares Support Vector Machines, LS-SVMs)和高斯过程(GPs)进行对比验证。采用可比较性指数(comparability index, Ci，定义为预测绝对误差除以扩展不确定度)量化性能。结果表明，在模拟案例中GLS-SVM的Ci始终低于0.65，表明其预测与真值统计一致；而对比模型Ci显著超过1且峰值近8，未能提供物理一致的估计。在MFC校准中，GP模型产生比测量不确定度小1至3个数量级的不确定度，而GLS-SVM给出的不确定度与底层测量过程物理一致。该方法为具备测量协方差信息且需严格不确定度量化的数据驱动回归任务，提供了一个通用且计量学依据充分的框架。

论文解读：《An Uncertainty-Aware Kernel-Based Method for Regression: The Generalized Least Squares Support Vector Machine (GLS-SVM)》

一、研究背景与意义

在医疗保健、结构工程及早期预警系统等高风险领域部署机器学习(ML)模型时，对预测不确定度进行稳健评估至关重要。当前主流的不确定度量化方法包括集成学习(ensemble methods)、贝叶斯神经网络(BNNs)、蒙特卡洛随机失活(Monte Carlo Dropout)及高斯过程(GPs)，这些方法主要关注模型权重的认知不确定度(epistemic uncertainty)。然而，实测数据本身携带的测量不确定度——尤其是响应变量存在的异方差(heteroscedasticity)与数据点间的相关性(autocorrelation，即非对角方差-协方差结构)——在机器学习训练过程中常被忽略。计量学(metrology)领域虽已有广义最小二乘(Generalized Least Squares, GLS)回归来处理带完整方差-协方差矩阵的响应变量，但尚未被引入核方法(kernel methods)如最小二乘支持向量机(Least Squares Support Vector Machine, LS-SVM)。鉴于LS-SVM较支持向量机(SVM)求解为线性方程组、数学形式更简洁且与GPs预测均值等价，研究人员将其推广为广义最小二乘支持向量机(Generalized Least Squares Support Vector Machine, GLS-SVM)，并将响应变量的方差-协方差矩阵Σ_y嵌入损失函数与KKT(Karush–Kuhn–Tucker)条件中，推导了符合GUM(Guide to the Expression of Uncertainty in Measurement)的预测不确定度传播公式（含偏差修正），通过模拟数据与质量流量控制器(Mass Flow Controller, MFC)校准实验验证其优越性。该文发表于《Metrology》期刊。

二、主要关键技术方法

研究人员基于LS-SVM的对偶空间拉格朗日乘子法，将标准岭回归损失函数中的正则项γI替换为响应变量方差-协方差矩阵Σ_y（或其逆阵加权残差项∑(y_i?f(x_i))^TΣ_y^?1(y_i?f(x_i))），推导得到修正的KKT线性系统并求解拉格朗日乘子α与偏置b；进而将α、b表达为训练标签y的线性组合，利用Cov(α,b)=A·Cov(y)·A^T推导模型系数及预测值的完整方差-协方差矩阵，按GUM规则计算标准不确定度u(?)并对预测做偏差(bias)校正。超参数（核宽σ²与正则γ）采用k折交叉验证以广义均方误差(Generalized Mean Square Error, GMSE，基于马氏距离Mahalanobis distance)为准则优选。对比基准为LS-SVMlab工具箱的标准LS-SVM及scikit-learn中同核函数的同质/异方差高斯过程(GP)模型。案例一：在区间x∈[?5,5]取50个等距点，y～MVN(m(x),Σ)，构造对角异方差Σ（u(x)从0.01线性增至1）与Toeplitz指数相关Σ（相关尺度50个样本），RBF核；案例二：INRiM标定的MFC校准数据集（标称流量vs校准系数C），带全方差-协方差矩阵，多项式核，以传统GLS多项式拟合为参考真值。评价指标为可比较性指数C_i=|?_i?y_true,i|/(k·u(?_i))（k=2覆盖因子）。

三、研究结果

3.1. Function Estimation（函数估计/模拟回归问题）

在异方差独立数据下，LS-SVM、GLS-SVM与异方差GP均能较好还原潜函数f(x)=sin(x)+0.5x，C_i多低于1；齐次GP因忽略不确定度而过拟合且不确定度异常振荡，C_i极大。在异方差+自相关数据下，齐次GP仍过拟合且给出近零不确定度（非物理）；标准LS-SVM追踪含噪数据导致偏离真值，C_i峰值约8；异方差GP略优(C_i1~2.6)但未考虑相关性；GLS-SVM利用完整Σ_y正确加权观测与相关结构，最准还原f(x)，预测不确定度合理放大以反映相关性，C_i全程<0.65，证明统计一致性最优。

3.2. Calibration of a Mass Flow Controller（质量流量控制器校准）

标准LS-SVM在非参数拟合中出现非物理振荡且置信区间数值发散(→10⁶)，被排除对比。GP模型的置信带因低估不确定度（较GLS参考小1~3个数量级）几乎不可见。GLS-SVM与GP均值曲线基本吻合GLS参考，但在400–900 cm³/min区间有局部偏差。以GLS参考为比对基准的可比较性指数显示：齐次GP峰值≈2.96，异方差GP≈2.2，GLS-SVM最大≈2（低流量区表现更优）。关键区别在于GLS-SVM输出的标准不确定度与GLS参考同量级，物理意义一致，适合无预设函数形式的计量校准场景。

四、讨论与结论总结（翻译浓缩结论部分）

研究人员推导了LS-SVM的广义版本GLS-SVM，在训练阶段融入响应变量的完整方差-协方差矩阵Σ_y，对低不确定度测量赋予更大权重并考虑数据间相关性；同时给出了符合GUM的预测不确定度计算公式（含偏差修正）及基于广义均方误差(GMSE)的超参数调优流程。模拟实验表明，面对异方差及相关数据时GLS-SVM的C_i<0.65，明显优于LS-SVM(C_i峰值≈8)及GP；MFC校准案例中GLS-SVM给出与计量学GLS参考同量级的物理合理不确定度，而GP低估1~3个数量级、LS-SVM数值发散。本工作指出当Σ_y提供内在正则化时正则参数γ可趋于零从而减少待优超参数。GLS-SVM适用于传感器校准、表征及虚拟计量等具备测量协方差信息的回归任务，未来可结合输入变量不确定度传播及核均值嵌入(kernel mean embedding)等方法进一步拓展。综上，GLS-SVM将核回归的灵活性与GUM一致的不确定度处理相结合，为无解析模型的计量学回归问题提供了超越传统参数化校准模型的可靠工具。