基于物理原理的强化学习在光电化学水分解中用于MXene改性光阳极的多维度优化

《JOURNAL OF POWER SOURCES》：Physics-Guided Reinforcement Learning for the multidimensional optimization of MXene-modified photoanodes in photoelectrochemical water splitting

　　

摘要

光电化学水分解是一种极具前景的可持续氢气生产方法，但其光阳极效率受到体相电荷复合以及缓慢的氧演化反应动力学限制。将二维MX烯作为共催化剂可缓解这些瓶颈问题，但优化这种异质结构需要处理复杂的多元参数空间。我们开发了一种基于物理原理的强化学习框架来研究经MX烯改性的光阳极，该框架在受AM 1.5G光照条件、G?rtner电荷分离限制以及Butler-Volmer动力学约束的11维环境中运用连续型深度确定性策略梯度算法。然而，严格的物理约束——包括Helmholtz费米能级固定和严格的Pourbaix热力学稳定性要求——会导致可行操作空间极度受限，从而使DDPG算法出现奖励稀疏问题。为解决这一问题，我们采用了经过验证的贝叶斯优化替代模型，成功地在受限拓扑结构中找到最优解。该模型计算出的理论最大光电流为20.09 mA/cm${}^2$，同时确认了与实验结果相符的物理稳定优化区间。分析表明，光学吸收深度、载流子扩散速度以及给体密度之间存在关键的权衡关系，更高的MX烯功函数有助于实现更有利的能带对齐。总体而言，这一计算框架有助于加速高效且稳定的光电化学光阳极的发现与深入理解。

引言

通过光电化学水分解将太阳能直接转化为化学燃料，是迈向可持续、碳中和能源经济的重要策略[1]、[2]、[3]、[4]、[5]。在光电化学系统中，半导体光电阴极吸收阳光产生电子-空穴对，这些载流子在电极-电解质界面驱动氢气和氧气的生成反应。其中，光阳极的性能尤为关键，因为氧演化反应涉及一个动力学要求极高的四电子转移过程[6]、[7]、[8]、[9]、[10]。传统的n型金属氧化物半导体，如BiVO₄、TiO₂和Fe₂O₃，因其化学稳定性、资源丰富以及适合水氧化的能带结构，被广泛用作光阳极[11]、[12]、[13]、[14]、[15]、[16]。然而，由于少数载流子的扩散长度较短，且表面存在大量陷阱态，这些缺陷会促使光生空穴在参与氧演化反应之前就发生复合（见图1），从而限制了它们的实际性能。

为克服这些动力学和传输方面的瓶颈，引入二维共催化剂成为一种有效策略[17]、[18]。MX烯是一类二维过渡金属碳化物、碳氮化物和氮化物，它们具有金属导电性、亲水性，以及可调控的表面化学性质，如含-O、-F和-OH基团[19]、[20]、[21]、[22]、[23]。这些特性使得MX烯在与半导体光阳极结合时，能够促进界面电荷传递并抑制表面复合。此外，通过表面修饰还可以调整MX烯的功函数，从而实现与半导体吸收层的良好能带对齐[24]、[25]、[26]、[27]。

尽管有这样的理论优势，但要合理设计MX烯-半导体异质结构仍面临诸多挑战。光电化学光阳极的性能取决于光学吸收、载流子传输、能带结构以及界面反应动力学之间的复杂相互作用。例如，增加半导体薄膜厚度可以提高光子吸收率，但如果厚度超过载流子扩散长度，就会增加体相复合的概率。同样，提高给体密度虽能提升电导率，但可能会减小负责电荷分离的耗尽层宽度。这些相互矛盾的因素构成了一个高维度的优化问题，很难通过传统的实验试错法来解决[28]、[29]。

近年来，人工智能技术的进步为复杂材料设计的探索提供了有力支持[30]、[31]。贝叶斯优化、遗传算法和强化学习等方法已被成功应用于催化剂发现、混合材料分类以及半导体性能优化等领域[32]、[33]、[34]、[35]、[36]、[37]、[38]。不过，纯数据驱动的“黑箱”模型往往缺乏物理可解释性，且在超出训练数据范围进行预测时，可能会产生数学上最优但热力学上不可行的材料结构。

为解决这些局限性，本研究提出了一种基于物理原理的强化学习框架，用于优化经MX烯改性的半导体光阳极。该框架将经过简化但符合物理规律的光学吸收、空间电荷分离以及界面电化学动力学模型直接嵌入强化学习环境中，从而确保智能体仅在具有物理意义的区域中进行搜索。通过采用深度确定性策略梯度算法[38]，该框架能够在11维参数空间中寻找高性能配置，并揭示影响光电化学性能的关键物理因素。

内容片段

计算方法

为探索经MX烯改性的光阳极的多维度设计空间，我们设计了一个基于物理原理的强化学习环境，该环境能够模拟光电化学光电流产生的主要物理过程，同时兼顾计算效率[32]、[34]、[35]。所有模拟均使用MATLAB中的强化学习工具箱和深度学习工具箱完成。

算法收敛性

在无约束环境（未施加Pourbaix/Helmholtz限制）的初始探索阶段，DDPG智能体能够成功找到高奖励值对应的解决方案。但当严格的熱力学（Pourbaix限制）和电化学（费米能级固定）约束被完全施加后，连续型DDPG智能体出现了严重的奖励稀疏问题（见图2）。由于严格的物理约束极大地缩小了可行的操作空间，DDPG智能体的局部梯度

结论

本研究通过将严格的物理模型（光学吸收、Helmholtz费米能级固定以及Pourbaix热力学稳定性）纳入自动化优化框架，探讨了经MX烯改性的半导体光阳极在光电化学水分解应用中的多维度设计空间。我们发现了基于连续梯度方法的强化学习智能体（如DDPG）在高度受限的物理环境中的根本局限性：严格的熱力学约束会形成巨大的

作者贡献说明

Nambiyandarnambi Radhakrishnan：撰写原始稿件、数据可视化、结果验证、软件应用、方法设计、实验研究、正式分析、数据整理、概念构思。Uma Sathyakam Piratla：负责文章审阅与编辑、软件使用、资源协调、项目管理、资金申请、正式分析以及概念构思工作。

利益冲突声明

作者声明不存在任何可能影响本文研究结果的已知财务利益冲突或个人关系。

Nambiyandarnambi Radhakrishnan|Uma Sathyakam Piratla

印度泰米尔纳德邦韦洛尔市韦洛尔理工学院机械工程学院