《Knowledge-Based Systems》：A practical decision-support system for robust post-training model selection in spatiotemporal forecasting
编辑推荐：
研究人员假设在评估参考不确定的情况下，单次参考排序可能在去除重训练效应后仍具决策不稳定性。为此，研究人员构建了一个三层选择审计：第一层利用经种子变异性校准的选择遗憾诊断实质性不稳定性；第二层在声明扰动族下对候选决策规则进行基准测试；第三层将基准结果在洁净代价预
研究人员假设在评估参考不确定的情况下，单次参考排序可能在去除重训练效应后仍具决策不稳定性。为此，研究人员构建了一个三层选择审计：第一层利用经种子变异性校准的选择遗憾诊断实质性不稳定性；第二层在声明扰动族下对候选决策规则进行基准测试；第三层将基准结果在洁净代价预算下转化为部署动作。该工作流显式以声明扰动族为条件，将扰动族作为被审计的评估假设的一部分。输入—输出契约将声明族、冻结预测束、候选规则集与洁净代价预算映射为诊断状态、验证侧规则证据与预算门控推荐。在六个真实数据集与一个合成基准上的实证显示模式随机制而变：稳定机制保留洁净胜者，前沿机制默认保留洁净胜者，实质性不稳定且预算可行时切换至鲁棒选择，当遗憾收益需以不可接受的洁净性能损失为代价时拒绝鲁棒选择。该系统在EEA-PM25-ES上将中位决策遗憾从0.1403降至0.0000。贡献并非普适占优选择器，而是可复用的训练后选择层，可在不重训练前提下审计脆弱性，区分稳定、前沿、实质性不稳定与高代价不稳定四类轮廓。
研究背景方面，时空预测工作流在评估参考不确定时仍缺乏可复用的训练后模型选择准则。常见场景是团队已训练若干预测模型并冻结其验证与测试预测，必须在评估目标局部不可靠时选择部署模型。现有部署导向预测研究多假设固定评估目标，基准研究指出结论会随数据集、指标、聚合规则与模型电池改变；噪声标签研究关注如何训练更鲁棒模型而非部署时固定预测束的选择。因此研究人员提出更窄问题：给定固定预测束，何时保留洁净胜者、选用鲁棒规则，或因洁净性能代价过高显式拒绝鲁棒选择。论文发表于《Knowledge-Based Systems》。
关键技术方法上，研究人员采用严格固定预测工作流，各模型仅训练一次并冻结预测张量、目标、掩码与时间戳，在同一存储束上针对声明扰动族诱导的扰动参考重评估，从而将胜者变化归因于评估参考不确定性而非重训练动态。诊断层定义选择遗憾（SR）、胜者翻转率（WFR）、种子噪声尺度（SNS）与相对种子噪声效应比（ERSN），并以超额WFR≥0.15且中位ERSN≥2或P95归一化遗憾（NR）≥0.25作为实质性门控。规则层在验证集对惩罚鲁棒规则（含风险厌恶参数λ）、均值聚合、平均排序、最坏情形等候选规则基准测试，λ在预声明网格上调参得λ*。动作层引入洁净代价预算τ，输出保留洁净胜者、选用鲁棒规则或拒绝鲁棒选择三分支。实验覆盖METR-LA、PEMS-BAY、EEA-PM25-ES/DE/PL与USGS-Schuylkill-PA六真实数据集加一合成基准，采用固定时间切分与多训练种子。
研究结果部分，5.1节“不稳定性是否实质性”通过预声明机制赋值：METR-LA为稳定，EEA-PM25-DE为前沿，EEA-PM25-PL为电池敏感前沿，EEA-PM25-ES与USGS-Schuylkill-PA为实质性不稳定，PEMS-BAY为高代价不稳定；阈值网格跨数据集统一应用不改参，前沿EEA案例读作审慎过滤行为而非主 claim 支柱。5.2节“跨数据集综合与数据集级证据”给出机制地图与数据集证据，指出EEA-PM25-ES在同域站替代核下效应超种子变异性，PEMS-BAY虽不稳定但洁净权衡正且高代价，USGS-Schuylkill-PA跨域复制不稳定，EEA-PM25-DE/PL仅边际增益故默认保留洁净。5.3节“若不稳定实质性则选何规则”由表3基准日志示，EEA-PM25-ES在λ*=10时洁净胜者GWN转为鲁棒胜者STGCN，中位决策遗憾0.1403→0.0000，洁净权衡0.4619；同步EEA基准中惩罚鲁棒、均值聚合与平均排序在中位遗憾上并列0.0000，故不宣称惩罚规则普适占优，仅当验证分离时才优选。5.4节“预算τ下鲁棒选择可否接受”由表4政策输出示，稳定与前沿类走保留洁净，实质性不稳定类（EEA-PM25-ES、USGS-Schuylkill-PA）走选用鲁棒规则，高代价不稳定类（PEMS-BAY）因洁净权衡超τ可行性而拒绝鲁棒选择；USGS-Schuylkill-PA洁净权衡为负故τ非绑定属跨域复制例外。
讨论部分指出该系统将评估不确定性转为显式部署决策对象：诊断不稳定性、验证侧基准、预算门控推荐三步耦合；λ仅是惩罚轨道内部候选设置变量而非中心claim，中心对象是决策契约。威胁效度列八条：声明族P若错配则推荐有偏；前沿机制近边界敏感；本贡献限于训练后不修正底层模型缺陷；转移需治理基础设施；种子数限统计细推演；人因解释风险；跨域转移为结构化外推；六实一合证据一致但不立普适阈值。未来工作含外部验证扩展、随机与认知不确定性联合、自适应族构造、与鲁棒训练反馈闭环、多目标τ、跨域迁移、选择遗憾有限样本界理论、可解释HCI。
结论部分翻译：本研究贡献一个可审计的训练后决策支持系统，用于评估参考不确定性下的模型选择。相较仅按分数排序，其操作附加值在于通过声明P下不稳定性诊断、验证侧规则基准与τ下预算门控推荐三步工作流分离指标比较与部署动作，产出可追踪部署决策而非按分标签胜者。六真实数据集加合成基准证据支持机制依赖使用：METR-LA稳定，EEA-PM25-DE/PL前沿，EEA-PM25-ES与USGS-Schuylkill-PA实质性不稳定，PEMS-BAY高代价不稳定。部署信息依设计随上下文而变：鲁棒选择是声明族可信与洁净代价容忍下的条件动作。系统在训练后固定预测部署决策中适用，推荐须与声明族可信度、候选电池质量、重评估基础设施与预算可行性联合解读。在该既定用途内，贡献为预测流水线可复用部署决策层，将评估参考不确定性转为显式可测可管系统组件；向自适应、跨域、多目标、可解释与理论刻画扩展是下一步。
