《Entropy》：Primal and Dual Optimization Strategies for Entropy-Based Regression: A Monte Carlo Comparison
编辑推荐：
广义交叉熵回归可被表述为关于概率分布的带约束原问题（primal problem），或表述为关于拉格朗日乘子（Lagrange multipliers）的对偶问题（dual problem）。在本文所考虑的条件下，两种表述在理论上等价，但其表现取决于优化策略。
广义交叉熵回归可被表述为关于概率分布的带约束原问题（primal problem），或表述为关于拉格朗日乘子（Lagrange multipliers）的对偶问题（dual problem）。在本文所考虑的条件下，两种表述在理论上等价，但其表现取决于优化策略。本研究比较了2种原问题求解程序与10种对偶求解程序，目标均为广义最大熵（generalized maximum entropy, GME）估计量，以期为实际优化器选择提供依据。优化表述采用加权广义交叉熵（weighted generalized cross-entropy, W-GCE）框架，该框架将广义交叉熵（generalized cross-entropy, GCE）与GME作为特例包含在内。评估采用Portland水泥基准数据集，以及1000个在样本量、预测变量条件数与信噪比上变化的模拟数据集，均在GME设定下进行。比较指标包括运行耗时与系数恢复均方误差（mean squared error, MSE），并辅以接口报告的终止状态、常用可行性检查以及单独的对偶乘子矩残差诊断。结果显示，各程序在计算效率上差异显著，而在多数程序的系数估计精度上差异较小。dual.lbfgsb3c的中位耗时最低，dual.BFGS则在耗时与系数恢复之间兼具竞争力，并被选为GCEstim的默认方法。系数恢复与报告的终止状态应与数值残差一并考虑。该比较反映的是一种实际使用情形，即用户不对每个优化器分别调参，而在匹配数值精度下的相对表现仍有待确立。
研究背景方面，熵基估计为统计推断提供了信息论框架，其中未知量通过离散支撑空间（support space）及相应概率分布来表示。在最大熵原理基础上发展起来的广义最大熵（GME）与广义交叉熵（GCE）估计，为常规估计可能受信息有限或设计结构病态影响的回归问题提供了灵活途径，已应用于计量经济学、环境与能源建模、生态推断、时间序列分析及健康相关回归等领域。尽管方法与应用不断拓展，GME与GCE回归的数值实现仍是重要的实践问题：R生态系统中已有多个专门实现，但它们在抽象层次、自动化程度与灵活性上差异明显，并调用不同的数值程序，因而有必要在统一的估计量设定下对耗时与系数恢复进行实证比较。熵基回归可由原问题与对偶问题两条路径表述：原问题直接在后验概率向量上、在模型约束与概率可加性约束下优化；对偶问题将后验概率表示为拉格朗日乘子的函数，把优化降至与模型约束相关的乘子上。两者在理论上等价，但数值实现在维度、约束结构及可适用的优化算法类别上差别很大，理论等价并不意味着计算行为等价，尤其在样本量与回归问题条件数变化时更是如此。
基于此，研究人员在加权广义交叉熵（W-GCE）框架下考察了2种原问题与10种对偶数值优化策略，涵盖原问题的约束非线性优化程序，以及对偶问题的拟牛顿（quasi-Newton）、有限内存拟牛顿、共轭梯度（conjugate gradient）、无导数及其他非线性优化程序，全部在统一计算框架内实现，并针对同一GME估计量设定进行评估（对应权重参数取1与均匀先验）。研究目标为：描述接口报告的终止状态、常用可行性检查与单独的对偶乘子矩残差诊断；刻画各回归设定下的计算效率；评估原问题与对偶策略的系数恢复表现。由于生成系数已知，系数恢复MSE是合适的统计结果指标，但并不衡量数值优化精度；原问题与对偶程序覆盖不均也限制了结论的外推范围。研究通过Portland水泥数据（即Hald数据）提供外部系数一致性基准，并通过受控蒙特卡洛实验在不同样本量、预测变量条件数与信噪比下评估性能。结论是：各程序计算效率差异显著，而多数程序的系数估计精度差异较小；dual.lbfgsb3c中位耗时最低，dual.BFGS兼具竞争力并被选为GCEstim默认方法；系数恢复、报告终止状态与数值残差应结合考量。其意义在于为熵基回归的优化器选择提供实证依据，并强调在实现此类方法时需同时关注计算效率、系数估计精度、终止状态与独立数值残差。
关键技术方法方面（不超过250字）：研究采用W-GCE框架统一表述原问题与对偶问题，并在GME设定下比较12种优化程序；原问题使用primal.solnp与primal.solnl两种约束非线性优化，对偶问题使用共轭梯度、拟牛顿、有限内存拟牛顿、牛顿型与无导数等10种程序，其中8种使用解析对偶梯度。评估采用Portland水泥基准数据（13个观测、4个预测变量，全设计矩阵严重病态）以及1000个模拟数据集，随机分配于18种配置（样本量、预测变量条件数、信噪比各3水平），并以普通最小二乘（OLS）作为系数恢复基准；诊断包括可行性残差、概率精度扰动模型与高精度数值参考（192位与256位精度）。
研究结果方面，在Portland水泥基准中，除dual.L-BFGS-B与dual.CG外，各算法均在三位小数上重现GJM系数估计，或仅相差0.001（dual.lbfgsb3c首个系数返回1.529而非1.530）；偏离较大的两种算法报告状态均为FALSE，而dual.lbfgs、dual.nlm与dual.Rcgmin虽报告状态为FALSE却仍重现GJM估计，说明接口报告终止与系数一致性未必同步；两种原问题方法均以三位小数重现估计且报告状态为TRUE；在重现GJM估计的算法中，中位全调用耗时从dual.BFGS的0.0126 s到dual.bobyqa的1.3873 s不等。
在总体蒙特卡洛性能方面，12000个预期方法—数据集拟合中保留11999个，一次primal.solnp调用因LAPACK的dgesdd错误失败，999个数据集具备全部12种拟合。耗时差异显著：dual.lbfgsb3c、dual.BFGS与dual.L-BFGS-B中位耗时均低于0.1 s，其中dual.lbfgsb3c最低（0.043 s），1000次拟合中997次报告成功；dual.newuoa与dual.bobyqa中位耗时分别超过13 s与15 s且四分位距很宽；primal.solnp、primal.solnl、dual.nlminb、dual.nlm与dual.Rcgmin中位耗时约0.6–0.75 s。系数恢复方面多数算法中位MSE接近3.07–3.29且四分位距重叠，例外是dual.CG（中位MSE 21.655，仅3/1000报告成功）。999个完整数据集上，dual.lbfgsb3c平均耗时秩最低（1.177），其次为dual.BFGS（2.608）与dual.L-BFGS-B（2.844）；系数恢复平均秩多数方法接近，dual.lbfgsb3c最低（5.855），dual.CG最高（9.521）。OLS中位MSE约6.109（四分位距[0.775, 84.367]），仅作精度参照。在既定残差容差下846个拟合通过全部可行性检查，11153个至少一项未通过，1个预期拟合缺失；概率精度分析中，在一单位扰动模型下2740个失败记录在分量上相容，8259个仍超出矩残差包络，154个不支持网格精度模型；由对偶乘子重构的概率在10000次评估中仅3次满足缩放矩容差；1999个可用原问题拟合中仅2个（同一数据集）存储概率接近下限；6个数值验证数据集上，评估设定下的组合可行性筛查通过数为dual.BFGS 0/6、dual.lbfgsb3c 0/6、primal.solnl 4/6、primal.solnp 6/6，更紧设定下分别为1/6、0/6、6/6、6/6；dual.CG平均MSE为255.005，其他方法为12.429–14.955。
在跨模拟配置表现方面，全设计矩阵的条件数大于预设值，中位条件数从约10（N=80、预设1）升至约100（N=320、预设100），三个预设条件数水平的经验范围互不重叠，表明生成的病态程度清晰分离；固定预设条件数时，全设计矩阵条件数随样本量系统性增大，这一增大部分源于设计构造（截距列范数为N的平方根），因此跨样本量的比较并非纯粹的样本量效应。总体而言，计算时间随样本量增加且强烈依赖算法，预测变量条件数相关差异相对较小，样本量越大算法间耗时差异越明显。最快的对偶拟牛顿算法在各配置下耗时均较低；dual.lbfgsb3c总体中位耗时与平均耗时秩最低，最低配置成功比例为49/51（N=320、信噪比1、条件数100），dual.BFGS全部1000次报告成功；两种原问题算法对所有可用拟合均报告成功，primal.solnp明显快于primal.solnl（后者在N=320时中位耗时达40.797 s），但均慢于最快的对偶拟牛顿方法；dual.L-BFGS-B在大样本配置下报告成功比例下降至1/51，dual.lbfgs在若干N=320配置中约40–46%，dual.Rcgmin通常超过98%但计算代价更高。系数估计误差中位数一般随N与信噪比增大而下降，预测变量病态更强则误差显著增大；dual.BFGS在信噪比1、条件数1下中位误差从N=80的约0.436降至N=320的0.080，dual.lbfgsb3c相应为约0.404与0.077；最低中位误差出现在条件数1、信噪比10、N=320，约0.077，由dual.BFGS、dual.lbfgs、dual.lbfgsb3c与dual.nlminb等取得。与OLS比较，在强病态叠加低信噪比时GME拟合误差显著更小（如条件数100、信噪比1、N=80时OLS中位误差超过5000，而可用GME拟合低于20）；在良态与大样本下差距缩小（条件数1、信噪比10、N=80与320时OLS中位误差约0.409与0.077），而强病态下OLS误差升至约157与31（N=80与320），许多GME拟合仍维持约10。
讨论部分总结：结果证明在估计同一GME设定时各优化策略存在显著计算差异，对偶拟牛顿与有限内存拟牛顿程序通常远快于两种约束原问题程序；原问题程序对所有可用拟合报告成功且系数精度有竞争力，但更大的约束优化问题带来更长耗时；由于只覆盖2种原问题与10种对偶程序，这些观察不宜推广到两种表述下的所有算法。Portland水泥基准表明多数策略可重现GJM估计，同时显示报告终止与系数一致性未必同步，且这种一致性不能证明数值最优性。多数方法间系数精度差异远小于耗时差异，耗时、系数恢复与终止状态描述的是实现工作流的不同侧面；dual.CG的差表现说明计算便宜的程序未必能提供可比的系数恢复；独立残差检查也发现许多存储解存在偏差，报告成功或系数误差小均不能确立可行性、平稳性或目标精度，且方法未校准到共同数值精度。六例验证区分了由舍入导致的可行性筛查失败与未舍入对偶输出中已存在的矩偏差；更紧设定降低了对偶残差但未确立匹配精度下的表现。原问题概率下限使各实现数值域不同，改变下限即便概率远高于下限也会影响部分返回解，故其对原问题—对偶总体差异的贡献无法单独识别。分层结果显示数值表现依赖回归问题特征：样本量更大、信噪比更高时系数恢复更好，病态更强则误差更大；耗时要随样本量组与优化方法变化，对信噪比相对不敏感；因实际全设计条件数随样本量变化，样本量模式不能解释为N的独立效应。在所考察配置内，dual.lbfgsb3c耗时最低并保持有竞争力的精度、1000次中997次报告成功；dual.BFGS兼具有竞争力的耗时与稳定精度且全部1000次报告成功，但这些状态并不构成共同准则下的数值收敛——1000个存储的BFGS概率向量无一通过严格组合可行性筛查，六例验证中评估设定下未舍入BFGS输出无一通过、更紧设定下仅1个通过。综合系数恢复与计时结果以及通过基础R的stats::optim()可获得解析梯度，支持将dual.BFGS选为lmgce()的默认方法，这是评估设定下的实用选择，而非数值优越性的证明；dual.lbfgsb3c在速度为首要考量时是有吸引力的替代，但需检查返回解的数值残差。局限包括：lmgce()仅暴露底层优化程序的部分控制参数，算法特定调参可能改变观察到的终止状态、系数恢复与计算表现；研究为探索性数值评估，仅涉及三个预测变量、样本量至320，不能直接推广到高维回归；评估在GME设定下进行，其他权重参数、先验、支撑设定或收敛控制下相对表现可能不同；测试的支撑规模为M=5与J=3，P个系数时未约减原问题概率向量有P·M+J·N个元素（三个样本量下为80、260与980），而对偶乘子为N个；支撑设定也影响统计估计性能，单独敏感性分析显示M增大带来的精度改善递减，而J与熵权重的影响更显著且可能非单调，计算时间随支撑点数增加，但该分析未确立12种程序在替代支撑配置下相对数值表现如何变化。因此结论应理解为所考察设计下的经验结果，而非普适的算法排序。
研究结论翻译：本研究在W-GCE框架下发展优化表述、并在其GME设定下进行数值评估，对熵基回归的原问题与对偶优化策略进行了系统的计算比较。在所考察的蒙特卡洛配置中，若干对偶程序具有显著计算优势，尤其与拟牛顿及有限内存拟牛顿算法结合时；而约束原问题算法以高于最快对偶程序的计算代价，提供了有竞争力的系数估计精度并对所有可用拟合报告成功。在所评估的策略中，dual.lbfgsb3c总体中位计算时间最低且系数估计精度有竞争力；dual.BFGS兼具有竞争力的计算时间与系数恢复，并对所有可用拟合报告成功。这些结果支持将其选为lmgce()的默认优化策略，同时将dual.lbfgsb3c作为计算速度为首要考量时的替代方案。更广泛地，结果表明即使熵基估计量设定固定，数值优化策略的选择也会实质性影响计算表现；因此在实现熵基回归方法时，应同时考虑计算效率、系数估计精度、报告终止状态与独立数值残差。残差诊断揭示了部分返回解（包括dual.BFGS的返回解）中的数值偏差；与高精度参考的比较在六个选定数据集上澄清了偏差程度，并有助于解读目标值与系数估计。全模拟结果描述的是各程序在其评估设定下的表现，这对应不逐一调参用户的实用情形；匹配数值精度下的表现仍待评估，结果并不构成超出所测GME设计的原问题与对偶表述的一般性排序。
