《Symmetry》：Validation-Generalization Asymmetry in Metaheuristic CNN Forecasting: An Extremely Small Time-Series Case
编辑推荐：
超参数优化能够在降低验证误差的同时恶化未来性能，当数据极度稀缺时该风险尤为突出。研究人员在一份公开铁路里程实现工作簿中检验了这一风险，该工作簿含17个有序五滞后输入-目标行，其中14行构成开发集，3行构成锁定外测试集。不存在经独立核验的22点原始序列；因此精确
超参数优化能够在降低验证误差的同时恶化未来性能，当数据极度稀缺时该风险尤为突出。研究人员在一份公开铁路里程实现工作簿中检验了这一风险，该工作簿含17个有序五滞后输入-目标行，其中14行构成开发集，3行构成锁定外测试集。不存在经独立核验的22点原始序列；因此精确归档行是主要数据，而重叠一致推断时序仅用于敏感性分析。研究人员通过洗牌与滚动起源验证下的10次完整HPO搜索评估WOA-CNN与BWO-CNN。五次搜索剔除折运行作为压力测试敏感性，固定Manual CNN作为匹配参照。锁定测试MAPE中位数：WOA-Random为3.75%，BWO-Random为2.56%，WOA-Rolling为4.16%，BWO-Rolling为4.51%，匹配Manual CNN参照均值为2.54%。四种HPO过程分别在3/10、5/10、2/10、1/10次搜索中击败该参照。均值增量基线获0.63% MAPE。另一项160条独立模拟序列基准在四种预设数据生成过程下考察样本量与验证选择机制。两项分析共同刻画了在极小时间序列设定下验证设计与数据可用性如何影响模型选择稳定性。
研究背景方面，深度学习为预测提供高容量函数逼近器，但在时间序列预测中其成功高度依赖数据量与多样性。极小数据场景（如仅含数十观测的铁路里程累积序列）下，模型灵活性、验证方差与先验假设往往比名义表达能力更关键。自动超参数优化（Hyperparameter Optimization, HPO）常被视为解决方案，但重复查询有限验证集会选入有限样本噪声，导致“过调（overtuning）”：内部验证风险下降而未来泛化风险上升。时间序列中洗牌验证破坏时序，滚动验证因相邻行强依赖仍可能由单点主导排序，由此产生“验证-泛化不对称（Validation-Generalization Asymmetry, VGA）”——内部选择得分与未来类误差间方向对应失效。该研究即在此背景下，以公开WOA/BWO-CNN铁路里程实现工作簿（17个五滞后监督行，14开发/3锁定外测试，无独立核验22点原始序列，行2存在重叠不一致）为极紧界实证案例，辅以160条独立模拟序列可控基准，考察样本量与验证设计对模型选择稳定性的影响。论文发表于《Symmetry》。
关键技术方法上，研究人员采用归档17行精确矩阵为主数据，推断22位时序仅作敏感分析；CNN模板为Conv1D(kernel=2,ReLU)-Dropout-Conv1D(kernel=2,ReLU)-全局最大池化-全连接(ReLU)-Dropout-线性输出，仅搜两层滤波器数、全连接宽、Adam学习率、Dropout率，Manual CNN含473参数（每开发行33.79参数）。WOA与BWO各以5智能体6迭代同预算搜索，适应度含验证MAPE与参数计数惩罚（λ=0.05）。三种内验证协议：洗牌（random_state=42，10/4分）、滚动起源（三扩展折）、剔除（五行列间隙）；外测试三目标（6.74/6.87/7.01×104 km）全程锁定。每协议10次完整HPO种子，每选配701–703终训种子取均；Manual CNN同矩阵同外测试作匹配参照。模拟基准在N=22/40/60/100下按四数据生成过程（线性趋势+高斯噪声、晚期结构断点、平滑非线性趋势、AR(1)扰动）各10复现，共160序列，配对洗牌/滚动协议选12候选单层MLP池，外测试取末max(3,round(0.15(N-5)))窗。
研究结果部分，4.1节搜索行为与选中配置显示：10次完整HPO分布中，WOA-Random、BWO-Random、WOA-Rolling、BWO-Rolling中位内/外MAPE分别为2.37%/3.75%、2.65%/2.56%、1.84%/4.16%、1.97%/4.51%，Manual CNN均外2.54%；四过程击败参照次数3/5/2/1。低内误差未保低外误差，滚动保时序未稳降外误或VGA。λ敏感性单种子探索表明λ=0.05惩罚占适应度1.3%–7.1%，非普适结论。4.2节重复外测试性能中，固定配置条件诊断（种子301–310）Manual CNN得3.34±3.18% MAPE，WOA-Random 5.05%，BWO-Random 4.83%，属条件训练变异性非完整HPO不确定性。4.3节VGA计算逐次搜索：BWO-Random中位近零且含正负，两滚动过程中位正VGA，证时序性与外准度在极小折下为异质属性。4.4节传统基线仅用开发信息，均值增量0.63%最低，线性回归1.83%，朴素1.79%，滚动选Ridge 2.78%，表明CNN优势非预设。4.5节种子级诊断中，同三外目标下初始化可反转固定配置排序，选中参数量146–1713与外误非单调。4.6节可控样本量敏感中，N=22时洗牌/滚动中位绝对VGA 1.10/0.68百分点，N=100时降至0.28/0.36，增样本一般减错配但依数据生成过程而异。
讨论部分指出，证据限于单17行归档案例：重复元启发式选低内误未在三锁定外目标稳优于Manual CNN；过调不专属WOA/BWO，而属有限验证重复查询共性。洗牌混时加相邻行依赖尤脆；滚动保序但相邻依赖未消；剔除折仅3/5/7训练行只作协议敏感。容量分析显示参数量非外误单调解释，模型灵活度还含学习率、Dropout、epoch、初始化、缩放与重复比较。模型类选择先于优化器选择：均值增量估一平均增量，Ridge正则限系数变，CNN以146–1713参经极小折重复评估，依赖行致有效信息受限。VGA为诊断量非总体估计，大离散或符号反转警示勿采单有利运行。模拟基准仅支撑样本量机制非优化器排名。局限含单行2不一致未静改、外测三目标、10搜索中等蒙特卡洛、Purged极小学、λ网格单种子。
结论部分翻译：本研究以归档铁路案例与独立可控样本量基准考察极致稀缺下验证驱动CNN选择稳定性。每验证协议10次完整WOA/BWO搜索显广选配与外误分布；完整HPO未稳胜匹配Manual CNN，滚动保时序未得一致外误或VGA优；均值增量基线0.63% MAPE，选中参数量与外误非单调；160独立模拟仅支撑样本量与验证选择机制非优化器排名或铁路泛化。结果非拒WOA/BWO/CNN预测，而立窄警：极致稀缺下优化器收敛、低内分、有利训练种子或更小网络皆不足证未来性能；须强简单基线、折内拟合预处理、时觉与剔除敏感、完整HPO复现、显式采样单元与独立序列证据方堪泛化性能声称。
