基于深度强化学习混合框架解析X射线图像中低分辨率孔隙以改进多孔介质数值流体流动建模

《Energy and AI》：Improving Numerical Fluid Flow Modeling by Resolving Under-Resolution Pores from X-ray Images of Porous Media: A Hybrid Deep Reinforcement Learning Framework

　　

基于三维X射线显微层析成像数据的数值建模是理解多孔材料内流体输运动力学的基石。然而，图像处理与孔隙形态刻画中的不准确性会给模拟结果引入显著误差。本研究引入一种基于深度强化学习（Deep Reinforcement Learning, DRL）的框架，旨在通过精确揭示低分辨率孔隙、微连接及复杂孔隙边界来优化孔隙形态。该框架利用智能体及其动作空间，通过目标形态学操作迭代调整孔隙空间形态。此过程由动态奖励函数引导，该函数最小化模拟结果与相应实验测量之间的偏差。框架采用三种不同的模拟模态运行：孔隙网络建模（Pore Network Modeling, PNM）、卷积神经网络（Convolutional Neural Network, CNN）或混合算法。该CNN基于来源于21种独特岩石样本的1176幅三维图像训练，将PNM计算时间从每步134秒大幅缩短至0.44秒。关键的是，混合算法智能地交替利用PNM与CNN，以优化计算成本与预测精度之间的权衡。在碳酸盐岩样本上的评估显示出前所未有的改进：渗透率误差从基础PNM的32.16%降至0.79%，有效孔隙度误差从40%降至0.32%。此外，对于致密砂岩样本，该框架建立了流体流动路径，将计算渗透率从零提升至0.52毫达西（实验值：0.104毫达西）。这些结果证明了该框架系统优化孔隙形态、革新模拟精度的能力，为水文学、CO₂封存及地下能源储存等领域提供了变革性潜力。

## 研究背景与问题提出

多孔介质中的流体流动建模是地质能源、环境科学与工程领域的核心议题。随着X射线计算机断层扫描（X-ray Computed Tomography, micro-CT）技术的发展，基于三维图像的数值模拟方法——包括直接数值模拟（Direct Numerical Simulation, DNS）和孔隙网络建模（Pore Network Modeling, PNM）——已成为研究流体传输行为的主要手段。然而，现有方法面临一个根本性挑战：受成像设备限制及分辨率与视场（Field of View, FOV）之间权衡的影响，三维图像往往无法达到理想分辨率，导致图像分割过程中出现孔隙-固体边界模糊、低分辨率孔隙及微连接无法检测等问题。这些由部分体积效应（Partial Volume Effect）驱动的缺陷会显著影响建模输出，在计算孔隙度、渗透率及毛细特性等静态与动态参数时引入重大误差。

针对低分辨率孔隙的揭示问题，研究人员已探索了多种实验方法，如使用对比增强液饱和多孔介质获取湿态图像，或采用氙气（Xe）填充样本成像。然而，实验方法往往成本高昂且耗时。图像-based的双孔隙网络建模（Dual Pore Network Modeling, DPNM）方法虽效率较高，但存在用户偏差问题，特别是在选择微观连接截止长度等非物理、用户定义的阈值时。此外，DPNM假设微连接形成孔隙间的直接连接，忽略了迂曲度的影响。为克服这些局限，研究人员提出了一种创新的基于深度强化学习的框架——强化孔隙网络建模（Reinforcement Pore Network Modeling, RPNM），通过自适应决策-making自动厘清孔隙-固体边界、未分辨率孔隙及微连接，以最少的人工干预优化孔隙网络模型。

## 核心技术方法

RPNM框架由环境与智能体两大核心组件构成，环境提供图像处理与孔隙网络提取的工具集，智能体则自主运用这些工具进行迭代优化。具体技术路线包括以下关键环节：

首先，采用PoreSeg人工智能技术将三维灰度图像分割为三个相位：已分辨率孔隙（黑色区域，体素值接近0）、未分辨率孔隙（深灰色区域，代表不确定性较高的微孔隙）以及颗粒（浅灰色区域，体素值接近1）。分割后的已分辨率与未分辨率孔隙被分离为与原图等尺寸的二值图像。智能体通过执行动作空间中的形态学操作来优化孔隙结构，动作空间包含十种操作：针对未分辨率孔隙的腐蚀、膨胀、开运算、闭运算、非接触腐蚀、基于颜色图的阈值处理；针对已分辨率孔隙的膨胀与腐蚀；以及回退至前一状态和恢复原始图像。为防止过度修改，研究人员设定了一系列正则化约束，如已分辨率孔隙的膨胀限制为一个体素。

为降低计算成本，研究人员训练了一个卷积神经网络作为PNM的替代模型。该CNN基于21个砂岩、碳酸盐岩和砂包样本的1176幅三维图像训练，输入数据包括三维图像及其分辨率信息。训练采用90%数据用于训练、10%用于测试的配置，在配备64GB RAM和A100 GPU（80GB显存）的计算资源上进行100轮训练，并应用早停机制。训练后的CNN预测表现出色，训练集和测试集的R²分别达到0.98和0.99，且将单步计算时间从PNM的134秒缩短至0.44秒，2000步的总运行时间从74.3小时大幅降低至0.24小时，降幅达99.62%。

框架提供三种运行模式：PNM模式、CNN模式以及混合模式。混合模式初始采用CNN进行"预热"以使智能体快速识别各动作性能，随后自动切换至精度更高的PNM模式，并在指定步数后利用累积数据重新训练CNN模型，实现CNN与PNM的智能切换。

智能体的决策基于五维状态向量，包括当前渗透率与孔隙度、其对数变换后的相对误差以及容差值。奖励函数设计为动态形式：当渗透率或孔隙度的相对误差减小时给予正奖励，误差增大时给予负惩罚，总奖励为两者之和。通过对比深度Q网络（Deep Q-Networks, DQN）、近端策略优化（Proximal Policy Optimization, PPO）和优势演员-评论家（Advantage Actor-Critic, A2C）三种DRL算法（各运行1000步），PPO获得最高累积奖励，故被选定用于后续研究。

## 研究结果

### 代表性单元体分析

研究人员对Estaillades石灰岩和Achimovskiy砂岩两种基准样本进行了代表性单元体（Representative Elementary Volume, REV）分析。分析显示，对于碳酸岩样本，当图像尺寸小于256³体素时，孔隙度和渗透率随图像尺寸显著变化；超过此尺寸后变化趋于平缓。仅考虑已分辨率孔隙会低估计算结果，而合并两种孔隙则会高估。砂岩样本的已分辨率孔隙呈现零渗透率，表明即使512³体素的样本中也缺乏流体流动路径；而纳入未分辨率孔隙后渗透率跃升至约443毫达西，与实验测量值0.104毫达西存在显著偏差。

### 碳酸盐岩样本优化结果

RPNM框架对256<sup>3体素的Estaillades碳酸盐子样本进行了2000步优化。结果显示，框架有效优化了已分辨率孔隙的初始边界，将其孔隙度从0.15降至0.11；未分辨率区域孔隙度从0.27降至0.14，同时基本保持了分割工具最初识别的形态。合并后的孔隙空间总孔隙度为0.25，与实验值高度吻合。

与基础PNM相比，RPNM识别出额外的17184个孔隙和71497个喉道，平均配位数从3.03提升至6.66，表明连接性显著增强。压力分布图显示RPNM建立了新的流动路径，彻底改变了孔隙空间的压力分布。在静态与动态参数方面，RPNM计算的有效孔隙度为25.08%，实验值为25%；绝对渗透率为270.84毫达西，实验值为273毫达西；形成因子为25.08，实验值为24。相比之下，DPNM（最优截止长度30）和基础PNM计算的渗透率分别为281毫达西和128.51毫达西，形成因子分别为35.5和63.89。总体而言，RPNM将渗透率误差从基础PNM的32.16%降至0.79%，有效孔隙度误差从40%降至0.32%。

### 致密砂岩样本优化结果

对于Achimovskiy致密砂岩，RPNM通过不规则地添加或移除特定区域来优化孔隙空间，使已分辨率孔隙度从0.048增至0.052，未分辨率孔隙度从0.13降至0.12，最终孔隙空间孔隙度为0.125（实验值0.136）。原始基础PNM检测到320个独立簇（完全不连通的孔隙空间），最长10个簇的总长度也很短，表明孔隙网络由大量微小、孤立的孔隙空间组成。RPNM通过在这些孤立簇之间添加流动路径，创建了单一连通的孔隙空间，渗透率达到0.52毫达西（实验值0.104毫达西），有效孔隙度为12.36%（实验值13.60%）。该样本渗透率误差相对较高，研究人员归因于其致密特性——微小孔隙空间的轻微腐蚀或膨胀都会导致渗透率显著变化。

## 讨论与结论

RPNM框架代表了深度强化学习在孔隙空间优化与孔隙网络提取中的首次已知应用。该框架的核心贡献在于通过自适应决策-making实现孔隙形态的自动优化，无需依赖大型训练数据集，具有跨多孔材料的广泛泛化潜力。框架的后端CNN在验证阶段和智能体初始预热阶段发挥作用，并可通过新图像数据自动重新训练，使其适用于多种土壤和岩石类型。

研究表明，RPNM能够系统性地识别先前被忽视的微孔隙和微连接，显著改善静态和动态参数的计算精度。与监督学习模型相比，该框架不依赖受约束的数据集，其自适应特性使其在水文学、CO₂封存、土壤修复、污染物传输及提高油气采收率等领域具有广阔应用前景。研究人员同时指出若干未来改进方向：采用高性能分割方法提高初始相位划分精度；引入非均匀形态学操作扩展动作空间；动态调整孔隙网络建模参数；通过神经架构搜索（Neural Architecture Search, NAS）改进CNN泛化能力；将迂曲度和孔径分布等更描述性参数纳入状态空间，或直接引入当前三维图像实现基于实时视觉反馈的决策优化。

结论部分，研究人员明确指出该研究引入了一种新颖的人工智能框架，利用深度强化学习和卷积神经网络从多孔介质三维X射线图像中精确提取孔隙形态，提高孔隙网络建模的准确性。该框架训练人工智能代理划定孔隙-颗粒边界并识别低分辨率孔隙，解决了多孔介质研究中长期存在的挑战。通过对碳酸盐岩和砂岩样本的评估，框架成功优化了孔隙空间并提取了详细的孔隙网络，识别出先前被忽视的微孔隙和微连接，使渗透率、孔隙度和形成因子等静态和动态参数与实验测量值高度一致，显著降低了与基础PNM相比的建模误差。该框架的后端CNN可自动用新图像数据重新训练，能够应用于广泛的土壤和岩石类型，为CO₂封存、土壤修复、污染物传输和提高油气采收率等多样化应用提供了有前景的解决方案。未来研究可将其评估扩展至过滤器、膜材料和生物组织等其他多孔介质。</sup>