混合神经网络加速的混合针翅微通道热沉自适应深度强化学习优化设计过程

《CHAIN》：Adaptive Deep Reinforcement Learning Optimization Design Process for Hybrid Pin-Fin Microchannel Heat Sink Based on Hybrid Neural Network Acceleration

　　

随着集成电路和异构微系统集成的日益复杂，有效的热管理和智能设计对于防止热失效至关重要。本研究提出了一种基于自适应深度强化学习（ADRL）的针翅微通道热沉优化方法，利用混合神经网络（HNN）提高了迭代优化效率。建立了混合针翅微通道（HPFMCHS）模型，通过仿真生成的数据集捕获了不同参数下的温度和压降性能。所提出的HNN在小样本条件下显著提高了预测精度。与深度神经网络（DNN）和卷积神经网络（CNN）相比，均方根误差（RMSE）、平均绝对误差（MAE）、相对误差（RE）和综合标准差（SD）分别降低了92.6%、93.7%、92.5%、97.2%和96.4%、93.7%、90%、92.3%，有效地将结构参数映射到性能指标。在ADRL框架中使用近端策略优化（PPO）算法，研究人员优化了非均匀热流条件下的混合热沉布局，将高功率热源（HPHS）的最高温度降低了5.34%，低功率热源（LPHS）的最高温度降低了10.01%，压降降低了53.05%。

随着集成电路尺寸缩小与三维集成技术发展，热失效问题日益突出，亟需高效、智能的热管理设计方法。传统微通道热沉（MCHS）设计依赖试错法和计算流体动力学（CFD）仿真，耗时长、效率低，难以满足非均匀热流分布下的动态散热需求。为此，研究人员提出一种结合自适应深度强化学习（ADRL）与混合神经网络（HNN）的优化框架，旨在加速混合针翅微通道热沉（HPFMCHS）的迭代设计，降低对大规模标注数据的依赖，并实现多目标权衡优化。该研究发表在《CHAIN》。

在技术方法上，研究人员首先通过ANSYS Fluent 2023R2建立HPFMCHS数值模型，使用拉丁超立方采样生成1300组结构参数下的CFD仿真数据集（含1200组训练、100组测试）。核心方法包括：1）构建半监督HNN，融合卷积神经网络（CNN）与深度神经网络（DNN），通过交叉验证与自迭代扩充标注集，显著提升小样本预测精度；2）将训练好的HNN作为DRL环境的代理模型，替代耗时的CFD仿真，实时预测温度和压降；3）采用近端策略优化（PPO）算法，并引入ADRL机制——动态调整奖励函数中温度与压降权重（采用渐进、自适应、阶段性、基于性能、响应式五种策略），以避免局部最优并加速收敛。

研究结果部分：
1. **HNN性能**：在100个测试样本上，HNN的均方根误差（RMSE）、平均绝对误差（MAE）、相对误差（RE）和标准差（SD）相比CNN与DNN分别降低92.6%、93.7%、92.5%、97.2%和96.4%、93.7%、90%、92.3%，预测误差控制在-6.2%至6.9%内。实验表明，在1300样本量下HNN即达收敛，而CNN与DNN需1500样本，验证了HNN的高数据效率。
2. **DRL优化过程**：经1,000,000次迭代（约5小时），奖励值在6000回合后稳定在1.8左右。高功率热源（HPHS）温度从初始大波动降至约336 K，低功率热源（LPHS）温度稳定于310 K附近，压降集中至1.5 kPa。对比传统DRL（TDRL），ADRL收敛速度提升49.37%，稳定性提高7.60%。
3. **性能比较**：优化后结构相比初始结构，HPHS温度降低5.34%（至336.88 K），LPHS温度降低10.01%（至310.88 K），压降降低53.05%（至1.54 kPa）；努塞尔数（Nu）从344.3提升至541.9，对流换热效率提高57.4%。

讨论与结论部分：该ADRL-HNN框架通过自适应奖励调整有效避免了局部最优，无需传统实验优化，减少了人工误差，并在多目标优化中平衡了温降与压降。HNN作为代理模型显著降低了对昂贵CFD仿真的依赖，为多芯片系统热管理提供了高效解决方案。研究结论指出，相较于传统方法，本框架在计算效率与优化性能上具有明显优势，适用于集成电路冷却的学术与工程实践。