基于全连接网络的神经架构搜索：强化学习算法与基于神经切线核代理指标的比较——以测井曲线地球化学参数估算为例

《Artificial Intelligence in Geosciences》：Neural Architecture Search for Fully Connected Networks: Comparing Reinforcement Learning Algorithms with Neural Tangent Kernel-Based Proxy – A Case Study on Geochemical Parameter Estimation from Wireline Logs

　　

本研究开展了针对具有跳跃连接（skip connections）的全连接神经网络（fully connected neural networks, FCNNs）训练自由（training-free）神经架构搜索（neural architecture search, NAS）的十二种强化学习（reinforcement learning, RL）算法比较研究。研究将神经架构搜索表述为多臂老虎机问题（multi-armed bandit problem, MABP），并以马尔可夫决策过程（Markov decision process, MDP）加以表示，其中状态编码FCNN构型（隐层宽度、激活函数、跳跃连接拓扑），动作由离散架构修改组成，包括层插入/删除、神经元数调整、激活函数变更以及跳跃连接建立。奖励信号采用源自神经切线核理论（Neural Tangent Kernel, NTK）的负条件数（Negative Condition Number, NCN）指标，从而实现无需训练的架构评估。

研究评估了十二个RL智能体：同策略随机方法，包括策略梯度（Policy Gradient）、Actor-Critic、A2C、A3C、近端策略优化（Proximal Policy Optimization, PPO）；同策略信赖域方法，包括TRPO；异策略确定性方法，包括深度确定性策略梯度（Deep Deterministic Policy Gradient, DDPG）、Twin Delayed DDPG（TD3）、软Actor-Critic（Soft Actor-Critic, SAC）；以及进化策略变体，包括DDPG-ES、TD3-ES、SAC-ES。

实证验证采用HAWK实验的热解（pyrolysis）数据集，其中包括来自波斯湾一套烃源岩中8口井114个岩屑样品的总有机碳（Total Organic Carbon, TOC）、热成熟度（Thermal Maturity, T_max）、氢指数（Hydrogen Index, HI）和氧指数（Oxygen Index, OI），并与测井数据进行匹配，包括校正自然伽马（corrected gamma ray, CGR）、中子孔隙度（neutron porosity, PHIN）、体积密度（bulk density, RHOB）、纵波时差（compressional wave slowness, DT）和真地层电阻率（true formation resistivity, R_t）。

结果表明，同策略方法表现出稳定收敛、奖励持续提升且探索方差下降。PPO与A3C智能体在训练后获得了更优的最终奖励。异策略方法（DDPG、TD3、SAC）及其进化策略变体未能收敛，在高维动作空间中表现为振荡行为或早期停滞。由PPO发现的架构（3,724个参数）在经K折交叉验证（K-fold cross validation）充分训练后，相较于A3C发现的架构（83,944个参数）表现出更低的交叉验证方差，并在偏差相当的情况下具有更优稳定性。上述发现确立了同策略RL方法在高维动作空间中进行FCNN架构优化的有效性。

该论文发表于《Artificial Intelligence in Geosciences》，聚焦于神经架构搜索（neural architecture search, NAS）在地球科学回归任务中的应用，具体针对利用测井曲线估算地球化学参数这一问题展开。研究背景在于，神经网络结构设计长期依赖人工经验，容易导致网络欠参数化或过参数化，进而带来性能不足、泛化能力有限以及计算资源浪费等问题。虽然NAS已成为自动化网络设计的重要方向，但现有随机搜索、进化算法、贝叶斯优化和梯度型方法在复杂搜索空间中往往伴随高昂搜索代价；即便是参数共享策略，也难以彻底摆脱候选网络反复训练带来的开销。与此同时，零成本代理（zero-cost proxy）为训练自由NAS提供了可能，但其在带有跳跃连接与加和/拼接操作的全连接神经网络（fully connected neural networks, FCNNs）中的表现仍缺乏系统评估。尤其是，强化学习（reinforcement learning, RL）在高维架构动作空间中的适配性，以及神经切线核（Neural Tangent Kernel, NTK）指标与RL联合使用的有效性，尚未被充分验证，因此开展本研究具有明确的方法学意义和应用价值。

研究人员围绕这一空白，构建了一个基于RL的训练自由NAS框架，将FCNN架构搜索形式化为多臂老虎机问题（multi-armed bandit problem, MABP）与马尔可夫决策过程（Markov decision process, MDP）。状态向量编码网络的隐层宽度、每层激活函数类型以及非相邻层之间的跳跃连接拓扑；动作空间则由层插入、层删除、神经元数量增减、激活函数修改以及跳跃连接建立等离散架构操作组成。为避免每生成一个候选架构都进行完整训练，研究使用基于NTK理论的负条件数（Negative Condition Number, NCN）作为零成本奖励信号，以初始化时的核矩阵谱条件刻画可训练性。研究系统比较了12种RL算法，包括同策略方法Policy Gradient、Actor-Critic、A2C、A3C、PPO，信赖域方法TRPO，异策略方法DDPG、TD3、SAC，以及其进化策略（evolution strategy, ES）变体。研究对象为波斯湾烃源岩样本，输入为测井参数CGR、PHIN、RHOB、DT与R_t，输出为TOC、T_max、HI与OI。研究结论表明：在这一高维、即时奖励、无状态延续的NAS问题中，同策略算法明显优于异策略与ES类方法，其中PPO和A3C表现最佳；PPO发现的较简单架构在保持与A3C相近预测偏差的同时，具有更低交叉验证方差和更好的泛化稳定性。这一结果说明，NTK驱动的零成本代理能够有效支撑RL进行FCNN架构优化，也为地球科学数据驱动建模提供了可复用的方法基准。

就关键技术方法而言，研究主要采用了四类技术：其一，将FCNN架构搜索建模为MDP/MABP，并以82维状态表示网络结构；其二，构建基于长短期记忆网络（long short-term memory, LSTM）的actor-critic函数逼近器，对不同RL算法分别实现随机策略、确定性策略及值函数/Q函数学习；其三，引入NTK理论中的NCN作为训练自由奖励，实现候选架构初始化即可评估；其四，在最终网络训练中引入前向—反向耦合的循环损失（cyclic loss）结构，并采用5折交叉验证。样本来源为HAWK热解实验与波斯湾8口井114个岩屑样品及其配套测井曲线。

在研究结果部分，论文首先展示了不同RL算法在架构搜索中的收敛表现。

POLICY GRADIENT AND ACTOR–CRITIC METHODS
研究结果显示，Policy Gradient（PG）、Actor-Critic（AC）、A2C、A3C与PPO均实现了稳定训练，其奖励曲线总体呈持续上升趋势，探索方差逐渐收敛。PG、AC、A2C和PPO最终发现的最优架构具有高度相似性，均以单隐层结构为主，仅在神经元数量上略有差异；A3C则发现了更复杂的多层跳跃连接架构。通过比较每个智能体发现的最低奖励架构与最高奖励架构，研究发现NCN较优（即数值较不负、趋近于0）的网络在后续完整训练中确实取得更低训练损失。例如A2C最优网络的损失降低幅度最为明显，说明初始化谱条件能够有效预测训练可行性；PPO则在奖励稳定性和方差压缩方面表现最佳。滚动方差分析进一步证明，PPO在训练后期的奖励波动最小，体现出最佳的策略稳定化能力。

TRPO
TRPO在该问题中表现不佳。研究发现其奖励曲线强烈振荡，平均奖励显著低于其他同策略算法，且未形成明显收敛平台。论文将这一结果归因于KL散度信赖域约束在82维动作空间中的计算开销与数值不稳定性。在即时反馈、无时序延续的多臂老虎机环境下，TRPO依赖的信赖域更新机制未能体现理论优势，反而加重了优化负担。

CONTINUOUS CONTROL METHODS
DDPG、TD3和SAC均未能有效收敛。DDPG在初期奖励有所提升，但随后持续振荡，表明基于经验回放（replay buffer）和自举Q值的异策略学习在无状态延续环境中出现严重失配。TD3虽然引入双评论家（twin critics）、目标策略平滑与延迟更新，但奖励方差在后期反而扩大，未观察到稳定优化趋势。SAC在熵正则化（entropy regularization）驱动下保持较高探索，但这种持续高熵策略不利于集中搜索高质量架构，因此表现出最明显的振荡和不收敛。滚动方差结果表明，这些异策略算法的奖励方差长期维持在较高水平，与同策略方法形成鲜明对比。

EVOLUTION STRATEGY VARIANTS
DDPG-ES、TD3-ES与SAC-ES虽然计算速度快，但均在较早阶段陷入停滞。奖励曲线表现为快速下降至某一平台后长时间不再改进，滚动方差在约140个episode后迅速降为零，显示探索多样性完全丧失。研究据此认为，纯随机扰动在82维架构空间中的有效改进概率迅速衰减，导致ES策略只能在局部次优解附近过早收敛，不适合该类高维NAS任务。

FINAL ARCHITECTURES AND GEOCHEMICAL PREDICTION
基于搜索结果，研究选取PPO与A3C发现的最优架构进行完整训练与应用。PPO最优网络参数量为3,724，A3C最优网络参数量为83,944。两者在5折交叉验证下对TOC、T_max、HI和OI的均方误差（mean squared error, MSE）整体接近，说明复杂网络并未显著降低偏差；但A3C架构在交叉验证中显示更高方差，信息准则，包括Akaike信息准则（Akaike Information Criterion, AIC）、小样本校正AIC（AIC_C）、贝叶斯信息准则（Bayesian Information Criterion, BIC）和Hannan–Quinn准则（HQC）也均提示PPO网络更具简约性。沿井筒剖面的预测结果显示，两种网络都能较好再现地球化学参数变化，但PPO模型波动更小，在缺测层段的延拓预测更稳定。

COMPARISON WITH NON-RL BASELINES
研究进一步将RL-NAS得到的网络与两类非RL基线进行比较，即Bayesian Additive Regression Networks（BARN）和基于贝叶斯优化的单个全连接网络。结果表明，PPO和A3C生成的架构在TOC、T_max、HI和OI四项任务上均显著优于两类基线，在MSE和R²两个指标上都体现出明显优势。虽然BARN和贝叶斯优化的运行时间更短，但在预测精度和解释方差方面无法与RL搜索所得架构相当，证明RL驱动的NAS在该问题中具备更高的应用价值。

DATA SIZE EFFECTS ON DISCOVERED ARCHITECTURES
论文还讨论了样本规模对架构复杂度选择的影响。由于数据集仅包含114个样本，PPO网络的参数/样本比明显低于A3C，因而在小样本情形下具有更好的偏差—方差折中。研究据此指出，在小样本地学任务中，较简单架构往往比复杂高参数架构更具泛化优势，并建议未来将模型复杂度惩罚直接并入RL奖励函数。

OTHER ZERO-COST PROXIES
研究还报告，对Frobenius范数（F-norm）和Mean等其他NTK派生零成本代理进行了预实验评估，但这些指标在早期训练中的区分能力较弱，奖励信号不够稳定。相比之下，NCN与最终训练损失之间表现出更强的负相关关系，因此被选为12种RL智能体统一使用的奖励指标。论文给出的相关性分析进一步支持这一判断，即初始化时较优的NCN能够系统性预测更低最终训练损失。

讨论部分总体强调，本研究建立了清晰的方法层级：对于高维、即时反馈的FCNN架构搜索，同策略RL方法尤其是PPO与A3C最为有效；异策略方法、TRPO及ES变体在该任务结构下均存在明显局限。研究同时指出，PPO架构虽然略简，但在小样本背景下体现出更好的泛化与稳定性，因此更适合作为实际应用模型。论文还明确说明，当前结果仅在特定波斯湾烃源岩数据域中得到验证，对其他地层和沉积环境的可迁移性尚未检验；此外，随机种子敏感性、其他零成本代理与复杂度惩罚策略仍有待进一步系统研究。

研究结论部分可译为：本研究系统评估了12种强化学习算法在具有跳跃连接的全连接网络训练自由神经架构搜索中的表现，并将问题建模为以负条件数为零成本代理的多臂老虎机优化。结果表明，同策略方法表现出最优的收敛性，其中Policy Gradient、Actor-Critic、A2C、A3C和PPO均能稳定逼近高质量架构，PPO和A3C取得最高最终奖励。相对而言，DDPG、TD3、SAC等异策略方法以及TRPO和ES变体在该无状态环境中均未能稳定优化。研究同时验证了基于神经切线核的NCN指标能够在无需训练的前提下有效预测架构可训练性。与BARN及贝叶斯优化单网络相比，PPO与A3C发现的架构在TOC、T_max、HI和OI预测任务上均表现出更低误差和更高解释能力。总体而言，研究确立了同策略RL与NTK零成本代理相结合的框架在高维FCNN架构优化中的有效性，并为地球科学中的自动化网络设计提供了实证依据与方法指导。