《Mathematics》：Revisiting Weight Initialization for Transfer Learning on Tabular Data: The Feature-Adaptive Variance Initialization (FAVI) Approach
Miroslav Nikoli?,
Danilo Nikoli?,
Miroslav Stefanovi?,
Tina Bigovi?,
Sara Koprivica and
Darko Stefanovi?
编辑推荐：
迁移学习（transfer learning）已在计算机视觉、自然语言处理等领域取得显著进展，然而其在表格数据中的应用仍面临挑战。由于方差不稳定性与收敛缓慢等问题，传统模型如 XGBoost 往往优于深度学习方法。该研究考察了权重初始化技术在部分微调（part
迁移学习（transfer learning）已在计算机视觉、自然语言处理等领域取得显著进展，然而其在表格数据中的应用仍面临挑战。由于方差不稳定性与收敛缓慢等问题，传统模型如 XGBoost 往往优于深度学习方法。该研究考察了权重初始化技术在部分微调（partial fine-tuning）过程中对迁移学习有效性的影响，并提出假设：优化后的初始化方法可增强：（i）方差稳定性，即激活值与梯度幅值的一致性；（ii）收敛速度，即损失更快下降；（iii）泛化能力，即分布外（out-of-distribution）准确率提高。研究人员在 TabuLa-8B 等现代基础模型上，结合 OpenML 与 CC-18（72个数据集）基准，对 Xavier/Glorot、He/Kaiming、Orthogonal 以及 fan-averaged 初始化等既有技术进行了评估。此外，研究提出了特征自适应方差初始化（Feature-Adaptive Variance Initialization，FAVI），该方法依据每个特征的统计量自适应调整方差，并从数学上证明其能够保持单位输出方差。实证结果表明，该方法在收敛速度上提升15–20%，在泛化性能上提升1.5–2.5%。研究贡献包括 FAVI 的理论公式化，以及推动表格数据建模发展的相关见解。
该文发表于《Mathematics》，聚焦表格数据迁移学习中的一个基础但长期被低估的问题，即权重初始化如何影响大型表格基础模型在部分微调场景下的优化稳定性、收敛效率与泛化表现。研究背景在于：尽管迁移学习已在视觉、语音和自然语言处理领域深刻改变性能格局，但在表格数据领域，传统梯度提升模型如 XGBoost、CatBoost 仍常常优于深度学习方法。造成这一现象的重要原因之一，是表格数据具有高度异质性，不同特征在尺度、方差、分布形态与语义上差异显著，导致经典初始化方法所依赖的“输入分布近似同质”的假设难以成立。在此条件下，模型前向传播中的激活方差易漂移，反向传播中的梯度易离散，继而引发训练不稳、收敛缓慢以及跨分布泛化受损。正因如此，研究人员开展该项研究，试图在迁移学习尤其是部分微调框架下，系统评估初始化策略对表格基础模型性能的实质影响，并提出更契合表格异质性的初始化机制。
围绕上述问题，研究人员以 TabuLa-8B 为代表的现代基础模型为实验平台，在 OpenML CC-18 基准的72个分类数据集上，对 Xavier（Glorot）初始化、He（Kaiming）初始化、Orthogonal 初始化、Laor 初始化、Box 初始化及所提出的 FAVI 进行了系统比较。论文的核心创新是提出特征自适应方差初始化（Feature-Adaptive Variance Initialization，FAVI），其基本思想是：不再对所有输入维度采用统一的权重方差，而是根据每个输入特征的经验二阶矩或经验方差，为连接该特征的权重分配不同的初始化方差。研究人员证明，在给定零均值、权重独立与特征方差有界等条件下，FAVI 可以严格保证单层线性输出的方差为1；在考虑非线性激活时，进一步提出 FAVI-
? 形式，通过激活函数修正因子维持初始化时的单位方差近似。研究表明，该方法本质上是将 Xavier 的 fan-in 规则推广到异质特征空间：当所有特征方差相同时，FAVI 便退化为 Xavier 的特例。实验结果显示，FAVI 在72个数据集上稳定提升训练行为与预测表现：相较强基线，收敛速度提高15–20%，泛化性能提升1.5–2.5%，并显著降低梯度方差离散程度。这一结论说明，在表格迁移学习中，将特征层面的统计信息显式纳入初始化过程，是改善部分微调效果的关键因素。
从研究意义上看，该文一方面补足了表格基础模型研究中“初始化机制”这一较少被专门讨论的层面，另一方面为结构化数据迁移学习提供了具有严格理论支撑且实现成本极低的改进路径。FAVI 不需要修改网络架构，也不依赖额外复杂训练过程，仅通过一次轻量校准即可获得每维统计量，因此对于 TabuLa-8B、Real-TabPFN 等模型的下游适配具有直接实用价值。论文的贡献不仅在于提出一种新初始化方案，更在于证明表格数据的特征异质性本身应被视为初始化设计中的一等公民。
从方法上概括，研究主要采用了以下关键技术路径：其一，基于方差传播理论推导 FAVI 与 FAVI-? 的解析形式，并给出关于单位输出方差保持、相关特征鲁棒性以及与 LayerNorm、残差连接协同关系的理论说明；其二，在 TabuLa-8B 的部分微调框架中，将 FAVI 应用于冻结骨干网络与可训练上层子网络之间的表示接口，利用目标数据集小规模校准子集估计经验二阶矩；其三，以 OpenML CC-18 的72个公开分类数据集为样本来源，进行标准化预处理、80/10/10 划分与多随机种子重复实验；其四，通过 Wilcoxon 符号秩检验、Friedman 检验与 Nemenyi 事后比较，对不同初始化方法在收敛、泛化与排序表现上的差异进行统计评估；其五，辅以微调深度消融、优化器消融及病态曲率合成损失面实验，评估方法稳健性。
在结果部分，论文按小节组织了多层次证据。
4.1. Overall Benchmark Performance
在总体基准表现方面，研究人员报告 FAVI 在 OpenML CC-18 的72个数据集上持续优于所有对照初始化方法。以达到最佳验证准确率95%所需轮次衡量，FAVI 相对 He 初始化平均减少17.3% ± 2.8%的训练轮次，相对 Orthogonal 初始化减少14.9% ± 3.1%。这种优势在高维且特征方差严重失衡的数据集中尤为明显，表明其按特征自适应缩放的机制可以更有效地将激活值保持在适宜范围内。统计分析进一步验证了差异的稳健性：针对 FAVI 与最佳基线 He 的逐数据集配对比较，Wilcoxon 符号秩检验在测试准确率上得到 W = 2156，p = 0.0027，在收敛速度上得到 W = 2298，p = 0.0004，说明优势并非由少数数据集驱动。研究还进行了基于72个数据集的平均秩分析，FAVI 的平均秩为1.8，优于 Orthogonal 的2.6、He 的3.1、Laor 的3.4、Box 的3.8 和 Xavier 的4.3；Friedman 检验显示各方法总体不等价，Nemenyi 事后检验表明 FAVI 显著优于 Xavier、He、Laor 与 Box，但与 Orthogonal 的差异未达到该阈值下的显著水平。由此可见，FAVI 在整体性能上兼具统计显著性与实际效应量。
4.2. Optimization Property Analysis
该小节从优化动力学角度解释 FAVI 优势的来源，分别考察方差稳定性、梯度流一致性、收敛速度以及对病态曲率与陡峭最优点的鲁棒性。
4.2.1. Variance Stability
在方差稳定性分析中，研究人员衡量前向传播过程中激活方差随网络深度的变化。结果显示，FAVI 能在各层中最稳定地维持接近1的归一化激活方差，而 Xavier 与 He 在较深层逐渐出现偏离，表现为中度信号放大；Orthogonal、Laor 与 Box 也存在不同程度波动。该结果与 FAVI 的理论设计一致：通过按输入维度的经验统计量调整权重方差，使每个特征对前激活方差的贡献被规范化，从而缓解异质表格特征带来的数值累积不稳定。论文据此认为，FAVI 在前向信号传播层面更接近理论目标状态。
4.2.2. Gradient Flow Consistency
在梯度流一致性分析中，研究人员比较不同层之间梯度幅值方差的离散程度。结果表明，FAVI 相较 Xavier 与 He 可将梯度方差离散度降低28–35%，相较 Orthogonal 约降低22%。这意味着 FAVI 更能维持跨层反向信号的平衡传播，减轻梯度消失或梯度爆炸风险，进而提高训练的稳健性。该结论支撑了论文关于“初始化不仅影响前向激活，也决定反向更新可用性”的核心论断。
4.2.3. Convergence Speed
在收敛速度分析中，指标定义为达到各自最佳验证准确率95%所需的平均训练轮次。实验显示，FAVI 在全部基准上均表现出最快收敛：相对 He 初始化平均减少15–20%的训练轮次，相对 Orthogonal 减少10–12%。由于所有方法共享相同超参数配置，这一结果表明加速效应主要来源于初始化本身而非优化器调参优势。论文据此验证了其工作假设，即面向特征异质性的方差正则化初始化可以直接改善学习动力学。
4.2.4. Robustness to Pathological Curvatures and Steep Optima
在病态曲率与陡峭极值鲁棒性实验中，研究人员依据二次型损失面构造不同条件数的“狭谷”与高曲率场景，对优化轨迹进行比较。结果显示，FAVI 在这些合成困难地形上表现出最高鲁棒性，更容易逃离狭窄极小值并趋向更宽、更具泛化性的损失区域。论文将此解释为：特征自适应缩放在初始化阶段改善了参数空间中的局部条件性质，从而使优化路径更平稳。虽然该部分是辅助性证据，但与真实数据实验中的收敛与泛化改善保持一致。
4.3. Ablation and Sensitivity Analysis
该小节通过消融实验检验 FAVI 优势是否依赖特定训练设定，重点考察微调深度与优化器选择。
4.3.1. Fine-Tuning Depth Ablation
在微调深度消融中，研究人员分别考察仅训练最后25%层、最后50%层以及全模型训练三种设定。结果表明，FAVI 在最终验证准确率和收敛速度上均持续优于各基线，并且在可训练参数更少的情形下优势进一步扩大。特别是在仅微调最后25%层的参数高效设定中，FAVI 相比最强基线 Orthogonal 所需训练轮次约减少20–25%，同时验证准确率提高约1.5%。这说明 FAVI 对部分微调场景尤其有利，而这正是实际迁移学习中最常见的资源受限部署模式之一。
4.3.2. Optimizer Choice Ablation
在优化器消融中，研究人员将 Adam 替换为随机梯度下降（SGD）与带动量的 SGD，以验证初始化优势是否依赖特定优化器。结果显示，尽管改用 SGD 后整体收敛变慢，但各方法相对排序不变：FAVI 仍保持15–20%的轮次缩减和1–2%的准确率优势。这说明其增益主要来自初始化动态改善，而非与某一优化器存在偶然的配合关系。论文据此强调 FAVI 的方法学普适性。
讨论部分围绕理论与实验之间的一致性展开。研究人员指出，经典初始化如 Xavier、He 与 Orthogonal 虽然在输入同质、独立的设定下有明确理论基础，但在表格数据这种尺度与分布高度不均的输入空间中，会出现激活方差漂移、梯度离散增大与收敛减慢等问题，而 FAVI 通过显式归一化每个输入特征对前激活的贡献，抑制了高方差特征的主导效应，并增强低方差特征在优化初期的有效性。相较 Laor 的全局误差聚类思路和 Box 的几何约束思路，FAVI 的特征级操作粒度更细，更直接针对表格异质性，不引入额外显著计算负担。论文还对其计算复杂度进行了说明：校准阶段仅需一次扫描校准子集，时间复杂度为 O(n
cald)，空间复杂度为 O(d)，在基准数据规模下，其耗时不足总训练时间的0.01%。此外，讨论部分也清晰指出研究局限，包括仅评估单一基础架构家族、仅关注监督微调而未覆盖 zero-shot、few-shot 或 in-context learning 场景。研究同时报告，在仅训练分类头、骨干完全冻结的设定下，FAVI 仍比 He 初始化高1.1%的测试准确率，说明其收益中既包含可训练层自身优化动态改善，也包含与部分解冻骨干之间更优的梯度流协同。
论文结论部分可译为：该研究表明，权重初始化是表格数据迁移学习中的关键设计组成。Xavier、He 与 Orthogonal 等经典方案虽然在同质领域中有效，但在特征异质条件下会失效，导致激活不稳定、梯度离散与收敛变慢。所提出的 FAVI 依据每个特征的统计量设定权重方差，即使在严重特征尺度失衡情况下也能保持单位激活方差。基于 OpenML CC-18 基准的实验显示，FAVI 在不同数据集、优化器与微调设定中均实现一致改进：收敛速度提高15–20%，梯度方差离散程度降低，泛化性能增强，尤其在参数高效场景中更为突出。从概念上看，FAVI 区别于 Laor 与 Box 等现有方法，其在单个特征粒度上直接规范特征对优化的贡献，这对表格基础模型尤为有益，因为预训练权重分布未必与下游表格数据统计一致。上述发现表明，将 FAVI 纳入 TabuLa-8B 和 Real-TabPFN 等模型的微调流程，可以在无需修改架构的前提下，以简单且计算代价低廉的方式缓解初始化不稳定性。未来研究应进一步考察其在基于适配器的微调、更大规模表格基础模型以及 zero/few-shot 上下文适应中的表现，从而推动数据感知初始化成为结构化数据学习中的常规实践。
