基于互信息的计算机视觉方法用于从非完美图像中估算界面液位

《Computers & Chemical Engineering》：Mutual information-based computer vision approach for interface level estimation from imperfect images

　　

# 摘要

在化工行业中，对工艺变量的准确连续监测对于确保过程控制和安全至关重要。界面级别是维护产品质量和确保过程稳定性时经常测量的关键工艺变量。传统传感器的主要局限在于其容易受到结垢、腐蚀和其他物理退化导致的测量不准确的影响，特别是在恶劣条件下。为应对这一挑战，本文提出了一种基于计算机视觉的方法，用于从工艺设备的视镜（或视窗）中检测界面级别。所提出的方法采用了逐点互信息（PMI），这是一种统计度量，用于量化像素对之间的共现可能性，基于观测到的联合概率相对于其边缘概率。该方法根据像素对的统计关联对其进行区分，以检测图像中清晰、高度局部化的相界。随后，计算垂直强度剖面以识别界面的位置。该方法的有效性通过使用实验规模的实验装置进行评估。引入了各种噪声成像条件，例如遮挡、光照变化、像素模糊和伪影，并将所提出的界面级别估计方法的性能与从电容传感器获得的真实值进行了比较。结果表明，所提出的方法在所有实验场景中均表现出鲁棒性，在基线条件下达到均方根误差（RMSE）为0.097 cm的良好性能，在噪声成像条件下最高增至0.342 cm。值得注意的是，该方法还能够检测出其他直接传感器所无法探测的多相系统中的界面级别。这些发现表明，该方法可作为传统传感器的鲁棒替代品，提供冗余且可靠的工艺监测。

## 符号说明

### 索引
- $(u, v)$：像素对
- $A_1, A_2$：区域 A 中的像素对
- $B_1, B_2$：区域 B 中的像素对
- $i, j$：图像中像素的索引
- $t$：时间索引

### 参数
- $d$：像素对之间的欧几里得距离
- $d_{\text{ref}}$：校准点之间的物理参考距离
- $h$：感兴趣区域（ROI）的高度（以像素计）
- $m$：图像的行数（高度）
- $M$：用于相似度计算的特征子集数量
- $n$：图像的列数（宽度）
- $N_P$：采样的像素对数量
- $r$：用于局部相似度计算的最优像素半径
- $w$：感兴趣区域（ROI）的宽度（以像素计）
- $p_1, p_2$：用于校准的参考像素坐标
- $(x, y)$：感兴趣区域（ROI）左上角的像素坐标

### 变量
- $C(u, v)$：分类函数，用于分配像素对
- $D$：度矩阵
- $E(x, y, \theta)$：沿方向 $\theta$ 的方向性空间导数
- $f_u$：像素位置 $u$ 处的特征向量
- $f_v$：像素位置 $v$ 处的特征向量
- $F$：相似度矩阵
- $G(\cdot)$：几何变换函数
- $G_c$：等高线图
- $G_{\text{raw}}$：原始输入图像
- $G_{\text{ROI}}$：表示感兴趣区域（ROI）的子图像
- $h_{\text{level}}$：估计的物理液位
- $I_u, I_v$：分别为像素位置 $u$ 和 $v$ 处的像素强度
- $k_{\text{avg}}$：全局平均核
- $p(I_u, I_v; d)$：在距离 $d$ 处像素对强度 $I_u, I_v$ 的联合概率
- $P(I_u)$：像素强度 $I_u$ 的边缘概率分布
- $\text{PMI}_\rho$：由缩放因子 $\rho$ 参数化的逐点互信息
- $q$：来自广义特征值问题的特征向量
- $T_H$：阈值集合：所有梯度幅度 $\leq H$ 的像素
- $V$：垂直强度剖面（一维列向量）
- $V_{\min}$：垂直强度剖面中的最小灰度级
- $W(d)$：权重函数：随距离 $d$ 单调衰减
- $Z$：用于联合概率估计的归一化常数
- $Z^*$：界面位置（以像素为单位）

### 希腊字母
- $\gamma$：像素到长度的转换因子（每单位长度的像素数）
- $\epsilon$：用于边界检测的特征可分离性常数
- $\theta$：方向性空间导数的方向角
- $\lambda$：特征值（来自谱聚类）
- $\rho$：PMI 缩放参数
- $\Omega_{\text{intra}}$：属于同一区域的像素对集合
- $\Omega_{\text{inter}}$：属于不同区域的像素对集合

## 1. 引言

多相流现象在多个工业领域中普遍存在，特别是在石油和天然气行业，其中液-气界面在工艺容器内共存。为确保运行稳定性，这些行业依赖于对压力、温度和流量等工艺变量的严格调控。其中，界面级别是最常测量的工艺变量之一（Li 等人，2011；Narang 等人，2012，2015）。通过有效的反馈控制策略维持最佳界面级别，对于确保一致的产品质量和最大化整体回收效率至关重要。例如，在石油行业的沥青提取过程中，复杂的三相浆料通过初级分离罐不断分离为溢流、中间流和底流相。准确测量中间流界面至关重要，因为较高的界面级别会增加泡沫中的沙粒含量，从而降低沥青质量（Jampana 等人，2010），而较低的中间流界面级别则导致沥青损失到尾矿中，造成经济和环境方面的影响。因此，可靠的界面测量和控制确保了高效的沥青回收，并最大限度地减少下游过程的变异性。

差压（DP）表、核子式剖面仪和电容探针等传统传感器常用于界面级别检测（Vicente 等人，2019）。在功能上，这些设备通过将静水压力差、伽马射线衰减或介电常数等物理性质与界面位置相关联来进行操作。然而，这些传感器存在特定的不准确之处；例如，当流体密度波动时，DP 表会发生漂移，而接触式探针容易受到结垢和涂层堆积的影响（Amjad 等人，2021）。在这种情况下，传感器读数不可靠，因为传感器输出变得与真正的过程偏差无法区分。此外，这些传感器还需要昂贵的安装和维护要求，进一步限制了它们的实用性。另外，它们的性能高度依赖于精确放置，使其不太适用于动态工业环境（Meribout 等人，2011）。例如，在这些设置中，持续振动、结构位移和波动的操作条件经常破坏传感器对准，降低信号可靠性。由于传统传感器的这些挑战，液位传感器故障已与几起重大事故相关联。一种典型情景是由于液位测量不准确导致储存罐中危险流体溢出。尽管这是一个有充分记录的问题，但此类事件仍然持续发生。一个突出的例子是 2005 年 12 月发生在英国 Buncefield 的灾难，其中由于自动罐量测系统故障，错误地报告储罐三分之二已满，导致汽油罐溢出。虽然这一特定故障集中在液位检测上，但它突显了依赖脆弱的储罐测量系统的灾难性风险。2009 年 10 月，在波多黎各的 Capeco 炼油厂发生了类似事件（Ansaldi 等人，2016）。调查发现，爆炸起源于一个溢出的 500 万加仑地上储罐。故障的罐燃料量测仪未能向操作员发出溢出警报，导致汽油泄漏并形成大片蒸气云，随后被点燃。此类事件的灾难性性质，由传统仪表故障驱动，促使转向非侵入式监测解决方案。在本研究中，我们开发了基于计算机视觉的方法，可以通过视镜（也称为视窗）直接监测界面级别，提供非侵入式冗余传感器，其运行独立于影响传统接触式仪表的故障模式。

计算机视觉技术是使机器能够解释、分析和从视觉数据（如图像或视频）中提取有意义信息的计算算法。当工艺设备配备视镜时，可以视觉监测多相界面的位置。在这种情况下，利用计算机视觉技术的图像传感器提供了一种可行的替代方案。文献中提出了各种图像传感器，以克服传统传感器的问题。它们在处理传统传感器经常失败的复杂动态环境方面特别有效。可以在远程位置安装相机，通过分析并通过设备视镜记录视频数据来进行分析。然而，在实际应用中，图像传感器容易受到光照变化、遮挡、伪影和相机校准问题导致的畸变和图像质量差的影响。因此，必须开发一种能够克服实际成像条件中产生的挑战的计算机视觉算法。在本工作中，我们旨在开发一种鲁棒的图像传感器，使用先进的计算机视觉技术进行界面级别估计，即使在图像不完美时也能良好运行。

本文的其余部分组织如下。第 2 节提供了基于图像的传感器在各种工业应用中的简明文献综述，重点是图像中边缘检测的既定方法。讨论突出了工艺变量测量方法从传统方法到基于深度学习驱动框架的现代技术的进展。接下来，在第 3 节中，我们详细介绍了所提出的计算机视觉方法用于界面级别估计的开发过程。第 4 节和第 5 节介绍了实验案例研究及所提出方法的验证。最后，在第 6 节中得出结论并展望未来工作。

## 2. 文献综述

在过去的几十年中，视觉检查已被广泛应用于过程工业中的各种任务，如缺陷检测和分类、结晶、泡沫气泡特性、碳氢化合物泄漏和界面级别检测。图 1 提供了过程工业中基于图像的传感应用概述，按任务类型（晶体大小、泡沫检测、泄漏检测和界面级别检测）和所采用的边缘检测方法类别进行组织。在执行这些多样化的视觉监测任务时，关键挑战包括图像数据的一致准确质量和在生产环境中检查大量产品所需的时间（Prats-Montalbán 和 Ferrer，2014）。传统上，质量评估、故障检测、边界分类和工艺控制参数验证等视觉检查任务由受训操作员手动进行。然而，基于相机的视觉检查系统已在工业环境中出现，能够在各种工业应用中进行实时图像数据获取以进行自动化分析，包括能源、制药、精细化工、石油、食品加工、半导体制造和矿物加工（Li 等人，2006；Scott 和 McCann，2018）。在这样的工业环境中，图像传感器暴露于过程异常，如由操作环境引起的成像退化，包括视镜上或透过视镜的污渍、遮挡、光照变化和伪影，这些都可能降低测量可靠性。

本文献综述探索了基于图像的方法在测量工艺变量方面的进展。在第 2.1 节中，我们总结了基于图像的传感器在各种过程中的部署。图像处理中的关键步骤——边缘检测——也得到了总结。基于图像的传感质量通常受到成像过程中畸变和不完美因素的影响。第 2.2 节总结了工业环境中常见的不完美因素，并提出了本研究的动机。

### 2.1. 用于工艺变量的基于图像的传感器

结晶是制药、精细化工和食品加工等行业中的关键过程。在结晶中，控制粒子大小和形状至关重要，因为它们显著影响最终产品的质量（Yu 等人，2004）。为了控制结晶过程，各行业传统上依赖于经验知识和操作员专业知识。Zhou 等人（2009）进行了最早的大规模研究之一，使用在线视频成像系统估算粒子大小。他们强调了图像分割在准确分析中的关键作用。对晶体图像应用边缘检测和形态学操作以监测粒子长度分布。然而，搅拌系统中随机的粒子取向通常导致二维图像中真实粒子大小的低估，而光照变化则需要广泛的滤波和参数调整。为了减轻静态图像中粒子重叠造成的不准确，Chen 等人（2014）开发了一种用于自由下落丸剂的录像分析方法，使用高斯过程回归（GPR）分解灰度强度剖面。该方法逐行分析强度剖面，使用 GPR 对重叠的灰度曲线进行建模并外推以估算丸剂直径。单独的计数规则用于处理丸剂在垂直方向重叠的情况。这种方法成功地分离了水平和垂直方向上的重叠信号，产生了比标准边缘检测显著更低的测量误差。虽然在特定流动条件下有效，但该方法依赖于一致的自由下落轨迹，这限制了其在湍流搅拌系统中的应用。Nielsen 等人（2020）提出了一种混合框架，将在线成像与机理型群体平衡模型相结合，其中深度神经网络估算动力学速率。这种方法通过使用高频在线粒子大小数据训练灵活的深度学习模型，同时通过守恒定律确保物理一致性，解决了传统半经验模型的局限性。该方法准确预测了在各种过程中的粒子大小演变，如絮凝和结晶，即使物理参数未知。然而，模型的可靠性严格受限于数据可用性；当训练数据稀缺时，它与传统方法相比几乎没有优势。

同样，监测和控制泡沫形成期间的泡径在化工、能源和矿物加工行业中至关重要。泡径和形状直接影响这些过程中的传质和反应效率（Zhu 等人，2021）。

然而，气泡变形性、碰撞以及流动状态变化等因素使得精确测量变得复杂，促使了基于图像技术的开发。He等人（2022年）提出了一种神经网络方法，通过分割气泡图像并识别重叠气泡来测量气泡参数。该方法利用二维图像提取几何和拓扑信息，在不需要训练过程的情况下实现了超过90%的准确率。尽管该方法对不规则形状具有鲁棒性，但它依赖于涉及分水岭算法的复杂多步骤工作流程。Cui等人（2022年）开发了一种深度学习方法，使用Mask R-CNN结合特征金字塔网络来检测和分割高度重叠的气泡。利用阴影法和前照明技术捕获的图像，他们整合了一个形状重建模块，以准确恢复被遮挡的气泡形状。尽管该方法在密集、浑浊的流动中表现出高精度，但它需要有监督的训练数据集和特定的照明设置。最近，Jia等人（2024年）侧重于计算效率，提出了一种基于语义分割的算法，用于快速测量浮选气泡尺寸分布，优先考虑分割速度和分割质量。训练数据集使用传统的标记提取方法生成，从原始泡沫图像中产生初始分割，作为深度学习模型的伪标签。这使得模型能够在无需人工标注的情况下学习原始图像与标记图之间的映射关系，提高了高通量环境下的效率，并增强了基于分水岭的分割性能。

烃类泄漏检测是防止火灾和爆炸事故的关键环节（Ishida等人，2004年；R. A. Ferri等人，2009年；Lochmatter等人，2008年；Russell，2004a，2004b）。在泄漏管理中，重点是识别泄漏及其类型（分类）并确定其来源（定位）。工业界传统上依赖光学气体成像（OGI），这是一种有前景的可视化泄漏检测方法。它能够在不关闭生产流程的情况下在远处实时检测泄漏（Golston等人，2018年；Ravikumar等人，2017年，2018年）。然而，传统的OGI方法严重依赖人工操作，劳动强度大且容易出错。为解决这一问题，Wang等人（2020年）提出了一种基于机器视觉的方法，使用卷积神经网络（CNN）检测天然气甲烷排放。深度学习技术被应用于红外图像以识别泄漏类型。然而，仅关注分类往往导致缺乏泄漏可视化，而无法精确定位来源则限制了该方法在复杂环境中的实用性。在这样的环境中，泄漏可能根据其强度和与相机的距离呈现不同尺度，这给标准目标检测器带来了挑战。为了解决这种尺度变化带来的定位局限性，研究人员探索了使用Faster R-CNN替代YOLO（You Only Look Once）和SSD（Single Shot MultiBox Detector）等标准检测器，因为Faster R-CNN应用了区域建议网络来增强检测精度（Pham和Lefèvre，2018年；Sun等人，2018年）。然而，其较慢的检测速度给实时应用带来了挑战。Huang等人（2017年）建议通过优化Faster R-CNN中的CNN架构，可以在不牺牲准确率的情况下提高速度。Shi等人（2020年）将Faster R-CNN与OGI结合，用于实时烃类泄漏检测。该方法通过迁移学习利用预训练模型。对各种CNN架构的敏感性分析旨在确定检测速度和准确率之间的最佳平衡。

已有大量研究探讨了使用图像处理方法的界面液位估计（Jampana和Shah，2012年；Jampana等人，2008年；Kodamana和Huang，2019年；Li等人，2006年；Liu等人，2004年；Narang等人，2012年）。常用于特征提取的图像处理方法可大致分为两种主要方法：分割和边缘检测。分割是根据像素特征（如颜色、强度或纹理）将图像划分为不同区域或片段。而边缘检测则是识别像素强度中的急剧不连续性，以勾勒物体边界和结构轮廓。识别图像数据中的边缘是分析界面液位等特征的关键第一步。Jampana等人（2010年）提出了一种简单的边缘检测技术，结合基于状态空间模型的粒子滤波器来估计界面液位和质量。尽管该方法通过关注最强的像素强度而表现出对光照变化的鲁棒性，但其效果可能受到其他过程异常的损害，如图像中的污渍、遮挡或伪影。后来，Jampana和Shah（2012年）提出了一种图像差分方法来计算界面液位估计的置信度值，在正常运行条件下表现良好。然而，在实际操作中，各种过程异常可能影响这些方法的准确性（Salehi等人，2024年；Vicente等人，2019年）。

Eppel和Kachman（2014年）开发了一种基于计算机视觉的方法，用于检测透明容器中的液面和相边界，利用了一个分层次识别模型，该模型结合了强度、边缘密度和梯度特征。尽管该方法在结构化环境中有效，但其局限性在于对弱边界的精度降低、对光照和反射的敏感性、高计算时间（每张图像10-60秒）以及假设容器为轴对称几何形状。类似地，Liu等人（2017年）提出了一种基于马尔可夫随机场的图像分割方法，将原始图像数据转换为二值图像，并利用每个水平层上平均像素值的垂直剖面。尽管如此，一些像素被错误分割，导致预测液位与第一性原理结果之间的估计方差相当。同样，Vicente等人（2019年）开发了一种计算机视觉方法，使用静态和动态图像处理来估计泡沫-中间层界面液位。他们实施了一种双指标方法，结合基于局部熵滤波的纹理界面检测和帧差分来评估可靠性，使系统能够在能见度差的情况下自动标记不准确的测量值。该工作的一项重要优势是生成了一个质量指数，以防止控制系统对不可靠的数据采取行动。然而，该方法对光照变化敏感，并且容易受到视镜污染的干扰。总之，在存在图像退化的情况下准确估计液位仍然是一个重大挑战。

2.2 图像缺陷带来的挑战

如上所述，基于视觉的传感鲁棒性经常受到环境因素的影响。本节描述了过程工业环境中常见的图像缺陷类型。准确的界面液位检测和估计依赖于鲁棒的图像分割，即使存在光照变化、伪影、遮挡和污点等成像缺陷，也需要将图像进行分区。这些挑战中最突出的是光照不一致的影响。由不均匀的环境光照或光源放置不当引起的像素强度变化表现为图像中的光照变化。它表现为明亮的反射或阴影区域，降低了图像对比度，削弱了可靠边缘检测所需的信噪比（Vicente等人，2019年）。感兴趣区域（ROI）的物理遮挡也是一个重大难题。外部物体或内部组件（如挡板或搅拌器）对ROI的部分或完全遮挡是常见问题。遮挡会在视觉信息中产生缺口，需要插值或基于模型的方法来估计缺失的边界区域。除了物理遮挡外，数字缺陷或伪影也可能损害图像质量（Salehi等人，2024年）。

伪影是在采集或传输过程中引入的图像退化，而非源自物理场景本身。这些包括传感器噪声、由于流体速度相对于曝光时间过高引起的运动模糊以及压缩伪影，它们都降低了边缘的锐度和清晰度。相机标定问题源于成像系统固有参数的不准确，导致几何畸变。这些效应导致二维图像平面与三维物理空间之间存在非线性关系，从而在空间测量中产生误差（Bobovnik等人，2021年）。最后，日常操作环境中的环境因素经常导致视镜上出现瑕疵。泥渍可能源于视镜内表面或外表面不透明或半透明颗粒物的积聚。这些会在采集的图像中引入纹理噪声，分割算法可能将其错误地识别为有意义的过程特征。这些缺陷会在图像数据中引入噪声，可能导致错误的边缘检测。为确保基于图像的测量的可靠性，图像处理算法必须足够鲁棒，以应对降低图像质量的各种挑战。

已提出了图像修复和补全方法来在测量之前恢复退化的图像区域。传统方法通过将已知补丁区域传播到未知区域来恢复缺失区域（Guo等人，2018年），而基于深度学习的方法，包括部分卷积网络（Liu等人，2018年）和生成对抗网络（Ma等人，2023年），以语义连贯的方式重建退化区域。在界面液位估计的背景下，Salehi等人（2024年）提出了一种基于自编码器的补全方法，与预测模型结合，用于估计慢速率过程变量的测量值。然而，这些方法需要能够反映操作过程中遇到的退化条件的训练数据集。在工业环境中，由于无法在相同条件下重现过程状态，这类配对数据集难以获得。此外，由于不同资产的训练需求各异，扩展到多台设备仍然是一个重大挑战。而且，即使在重建之后，仍然需要一个高效的轮廓检测步骤来定位界面。在本工作中，我们提出了一种界面液位估计算法，该算法对各种图像缺陷具有鲁棒性，并以无监督方式直接处理退化图像。

3. 从缺陷图像中进行界面液位估计的所提方法

在本节中，我们提出了一种使用逐点互信息（PMI）（Isola等人，2014年）的无监督方法来估计液位和界面液位。数字图像由像素矩阵组成，其中每个像素编码特定信息，如强度或颜色，可以分析这些像素以识别空间特征，如纹理。这些像素值之间的统计关系可以通过PMI来量化。PMI量化了像素共同出现的概率比它们独立时高出多少。使用PMI进行边界检测的基本原理是，属于相同相位的像素对（高依赖性）在统计上可以与跨越边界的像素对（低依赖性）区分开来。

一旦通过PMI确立了像素对之间的关系，就会在所有像素对上构建一个亲和矩阵，其中高PMI（相同相位）对应于高亲和性，反之亦然。该亲和矩阵被分解以获得其特征空间，由其特征向量张成。这些特征向量随后被用于计算空间导数，从而将频谱信息转换为连续梯度场。在均匀区域内导数值接近零，在边界处则出现急剧峰值，从而标记了不同相位之间的过渡。梯度场被视作用地形表面处理并划分为一组封闭区域，即超像素。超像素边界根据实际几何取向进行重新评估，经过迭代合并后投影到图像尺寸上，以生成轮廓图。

检测到的轮廓中连续黑色像素带表示相边界。相边界的交点通过垂直强度滤波确定，即对轮廓图中每行像素强度进行平均，产生一维垂直剖面。液体界面处的相边界随后可以在垂直剖面中轻松分离。以下各节将详细说明这些步骤。

3.1 使用逐点互信息生成轮廓图

在信息论中，两个像素属于相同相位或位于相边界上的可能性取决于像素之间的相互相关性。PMI表示观测到的联合概率与在独立性假设下期望的概率之间的对数比值（Fano和Hawkins，1961年）：

(1) PMI_ρ(I_u, I_v) = log [P(I_u, I_v)_ρ / (P(I_u) · P(I_v))]

其中P(I_u)表示边缘概率分布，P(I_u, I_v)是强度为I_u和I_v的像素对(u, v)的联合概率分布。PMI由缩放因子ρ参数化，用于惩罚像素对之间的低概率关联。为获得最佳分割结果，参数ρ的取值取1.25，如Isola等人（2014年）所述。联合概率通过在多个距离上计算概率来定义，使用非参数核密度估计器（Parzen，1962年）来学习一组像素对的概率密度函数：

(2) P(I_u, I_v) = (1/Z) Σ_{d=d0}^{∞} W(d) · p(I_u, I_v; d)

其中W(d)是权重函数，随距离d单调递减。Z作为归一化常数。

术语 p(Iu, Iv; d) 表示在欧几里得距离为 d 的两个像素之间观测到强度分别为 Iu 和 Iv 的像素对的联合概率。较高的正互信息（PMI）值表明，观测到强度 Iu 会显著增加在其邻近区域观测到 Iv 的概率，这意味着两个像素属于同一个连贯区域。在这种同质区域中，联合概率 P(Iu, Iv) 显著高于两个边缘概率的乘积。相反，跨越界面边界的像素对相对于其边缘概率的联合概率较低，导致其 PMI 值较低或为负值。由此产生的低（或负值）PMI 值形成了一个独特的统计低谷（或梯度峰值），可以有效地用于定位边界。当满足公式（3）中定义的特征可分性条件时，即可确保这一点，因为像素之间不再共享连贯的分布。作为示例，考虑图 2(a) 中展示的一幅样图，其中液相与设备设置的背景之间呈现出明显的色彩对比。设 Ωintra 表示属于同一区域的像素对集合，Ωinter 表示属于不同区域的像素对集合，如图 2 所示。利用互信息分离这些区域的一个基本前提是，跨越相边界的像素的概率分布必须在统计上可区分。对于位于界面跨越区域的任意像素对 (u, v)（如图 2a 中的 B 区域），其中 Iu、Iv 分别表示像素 u 和 v 处的像素强度，必须满足以下特征可分性条件：

(3) ‖Iu ? Iv‖ > ε, ?(u, v) ∈ Ωinter

其中，ε 为可分性常数。该条件可以解释为分类函数 C(u, v)，该函数根据强度差异相对于阈值 ε 对每个像素对进行分类：

(4) C(u, v) = { Ωintra，若 ‖Iu ? Iv‖ ≤ ε ? P(Iu, Iv) ? P(Iu)P(Iv)；Ωinter，若 ‖Iu ? Iv‖ > ε ? P(Iu, Iv) < P(Iu)P(Iv) }

下载：下载高清图像（602KB）下载：下载全尺寸图像

图 2.（a）样图显示了位于 A 区域的区域内像素对和位于 B 区域的跨区域像素对；（b）像素对之间的 PMI：A 区域的高 PMI 峰值表示强统计依赖性，而 B 区域位于低谷处的低 PMI 值表示跨越边界的统计独立性；（c）在 4×4 像素邻域内计算的 PMI 得分及通过指数映射得到的对应邻接矩阵；（d）通过谱聚类提取的轮廓图，代表相边界。

考虑位于 A 区域、从图 2(a) 的同质液相中选出的像素对 (A1, A2)。这些像素对之间的关系在图 2(b) 的 PMI 图中进行了可视化展示。在该图中，x 轴和 y 轴分别代表两个像素的强度，z 轴表示其对应的 PMI 值。由于 A 区域内像素之间的强度差异可以忽略不计（‖IA1 ? IA2‖ ≤ ε），它们对应于 Ωintra 区域。根据公式（4）的第一个条件，这些像素呈现出较高的联合概率，对应于图 2(b) 中的高 PMI 峰值区域（红色/黄色区域）。相比之下，位于 B 区域的像素对 (B1, B2) 跨越了相界面，其强度差异显著（‖IB1 ? IB2‖ > ε）。这使得该像素对属于 Ωinter 区域。与公式（4）的第二个条件一致，这些像素之间的统计依赖性不复存在，导致联合概率低于边缘概率的乘积。这对应于图 2(b) 中由低 PMI 值（深蓝色区域）构成的明显"低谷"，有效地验证了可分性常数（ε）在区分边界与同质区域方面的作用。换言之，高 PMI 区域与低 PMI 区域之间的分离提供了可靠地区分相之间界面所需的判据。

**3.2 谱聚类与轮廓提取**

给定像素对之间的距离可能从相邻像素的范围延伸到整个图像的尺寸。为了捕获局部边界，在一个最佳像素半径 r 内计算成对相似度。两个像素之间的邻接度（affinity）表示它们的统计依赖性，通过 PMI 进行量化，并捕捉像素属于同一相或跨越相边界的概率。一般而言，图像中的每个像素 u 都由一个编码局部属性的特征向量 fu 来表征。在本研究中，使用了两个不同的特征子集：(a) 原始红绿蓝（RGB）颜色值，捕捉像素位置处的绝对颜色；(b) 以每个像素为中心的 3×3 邻域内计算的 RGB 协方差矩阵的对角元素。RGB 协方差矩阵是一个 3×3 矩阵，捕捉该邻域内三个颜色通道的变化。这些特征共同提供了区分相的颜色信息以及捕捉边界附近纹理差异的协方差衍生特征。

对于任意像素对 (u, v)，邻接度在半径 r 内局部计算，当推广到所有像素对时，形成一个邻接矩阵；超出最佳半径的所有邻接度均设为零。然后通过谱聚类（一种图论分割技术）分析该邻接矩阵。与基于强度对像素进行分组的传统聚类方法不同，谱聚类将图像视为一个加权图，以像素为节点，边表示统计相似度。它构建一个相似图，其中节点及其分支分别代表像素及其像素邻接度。该方法通过分析邻接矩阵的谱（特征值和特征向量）将图像划分为有意义的区域（Shi and Malik, 2000）。

假设在最佳半径内的 M 个子集特征向量相互独立，则像素 u 和 v 之间的邻接度 Fu,v 定义为对像素对 (u, v) 跨所有 M 个特征子集计算的 PMI 值之和的指数。因此，邻接度可以定义为：

(5) Fu,v = e^(∑k=1^M PMIρ(fuk, fvk))

公式（5）中的复合函数具有严格单调行为，因为它使用了指数映射。这确保了较高的 PMI 值（表示像素之间更大的统计相似性）始终产生较高的邻接度得分，反之亦然。图 2(c) 展示了在 4×4 像素邻域内计算的 PMI 得分及通过指数映射得到的对应邻接矩阵。利用邻接矩阵 F 求解广义特征值问题 (D ? F)q = λDq 来计算边界。度矩阵 D 是一个对角矩阵，其中每个条目表示一个像素与其所有邻居的总邻接度，其中 Du,u = ∑v≠u Fu,v。它在特征值问题中作为归一化因子，确保分割不会不成比例地孤立小型或弱连接的像素组，而是产生反映图像真实结构的划分。由 F 的特征向量张成的子空间的方向性空间导数 E(x, y, θ) 表示具有突变的梯度场。在此语境下，梯度场可以视为一个三维地形表面。梯度幅值较低的不变区域代表系统的同质相。相反，梯度幅值的突变构成地形中的峰值或脊线（Arbeláez et al., 2011）。

为了分割该场，设 TH 为阈值集，包含所有梯度幅值小于或等于 H 的像素，即 TH = {u | |E(u)| ≤ H}，其中 |E(u)| 是像素 u 在位置 (x, y) 处的梯度幅值。当阈值从 H 增加到 H + δ 时，每个新增像素 u 逐步被包含在 TH 中。如果 u 与所有盆地相距无穷远（即不存在通向 TH 中任何现有盆地的路径），则 u 是一个新的极小值点。这一过程递归重复，直到 u 与两个或更多不同盆地的距离相等；因此，它位于边界处。这使得图像被分解为一组初始原始区域（称为超像素），通过扩展局部极小值并定位不同区域相交的分界线来实现。然而，由于初始划分是从标量幅值投影推导出的，所得边界可能包含几何不规则性或缺乏方向精度。然后对每个超像素边界段施加几何变换 G(·) 来校正其方向。对于每个段，评估所有可能方向的梯度强度，将最大响应所对应的方向确定为优势方向。然后将边界段重新对齐到该优势方向，并相应地重新评估其边界权重。这种重新对齐确保仅保留强且结构有意义的边缘，同时有效抑制弱边缘和虚假边缘。通过过滤无关紧要的边缘并保持几何对齐的优势边界，可以识别出拓扑一致的轮廓，从而准确定位相边界，如图 2(d) 所示。从该几何变换获得的最终轮廓图 Gc 是提取垂直强度剖面图的基础。然后使用垂直剖面过滤方法分析该剖面图，以推断相应的界面水平位置，如下所述。

**3.3 垂直剖面计算**

在图像处理中，滤波器或核是一个用于处理图像并执行各种增强或分析任务的小型卷积矩阵。为了实现可靠的相边界定位，不使用基于局部梯度的滤波，而是在第 3.2 节中获得的轮廓图 Gc 上应用全局平均滤波器。对于具有 m 行和 n 列的轮廓图 Gc，滤波器定义为全局平均核 kavg。该核是一个 n×1 列向量，其中每个元素由图像宽度 n 进行归一化：

(6) kavg = (1/n)[1, 1, 1, ……, 1]^(1×n)T

这聚合了整个轮廓图宽度上的强度信息，从而抑制局部噪声并增强对主导水平边界的检测。通过对轮廓图应用全局平均核来计算垂直强度剖面向量 V：

(7) V = Gc · kavg = (1/n) ∑j=1^n Gc(i, j), ?i ∈ [1, m]

列向量 V 中的每个元素表示轮廓图沿该行方向上的平均光谱像素强度，从而强调行方向的强度变化，同时过滤掉高频水平噪声。

为了识别表现出显著强度变化的区域边界，计算垂直强度剖面中的最小值 Vmin。Vmin 对应的像素纵坐标被解释为轮廓图中界面（以像素为单位度量）的位置：

(8) Z* = argmin(V)

其中，Z* 表示轮廓图中界面的像素级位置。

**3.4 整体工作流程**

接下来，我们展示所提出的方法如何应用于估算工艺设备中的界面水平位置。图 3 展示了从设备中获得的实际图像。首先，将原始图像 Graw 裁剪为特定感兴趣区域（ROI），以隔离相关区域。该 ROI 基于工艺知识在空间上定义，以涵盖设备内液位变化的全部操作范围。图 3 中的上边界（红线所示）表示设备的最大可用体积。该 ROI 由空间坐标 (x, y, w, h) 定义，其中 (x, y) 表示左上角的像素坐标，w 和 h 分别表示 ROI 的宽度和高度。用于 PMI 计算和轮廓检测的 ROI 图像 GROI 从原始图像 Graw 获取：

(9) GROI(i, j) = Graw(y + i, x + j)

其中 0 ≤ i < h 且 0 ≤ j < w。ROI 的高度 h 成为关键的空间参考，特别是用于将 ROI 内检测到的界面水平位置映射回原始图像的坐标系。接下来，确定像素到长度的转换系数 γ ∈ R+。在原始图像 Graw 中手动选择两个参考像素 p1 = (x1, y1) 和 p2 = (x2, y2)，它们对应于已知的物理距离 dref（例如 1 cm）。基于两点之间的欧几里得距离计算像素到长度的转换系数 γ：

(10) γ = ‖p2 ? p1‖2 / dref = √((x2 ? x1)2 + (y2 ? y1)2) / dref [像素/单位]

下载：下载高清图像（220KB）下载：下载全尺寸图像

图 3. 标注的实验工艺储罐图像，展示了液位估算所需的几何框架。黄色矩形定义了 ROI，红线标记了以参考点 P(x, y) 为基准的最大可用体积。p1(x1, y1) 和 p2(x2, y2) 是用于计算 γ 的定位点。Z* 是从 P 到界面的像素距离，h 是 ROI 的总高度，hlevel 是从基准线 Q（hlevel = 0）测量的估算液位。

完成上述 ROI 选择和标定步骤后，将轮廓提取程序应用于 GROI。该算法利用通过核密度估计（Kernel Density Estimation）估计的联合概率，计算像素对之间的 PMI，这为构建全局邻接矩阵 Fu,v 奠定了基础。

该矩阵通过谱聚类处理来求解广义特征值问题，得到特征向量，随后对其进行微分以产生方向性空间导数场。该场最终经过变换和分割，生成一个统一且拓扑一致的全局轮廓图 $G_c$，从中提取所检测到的界面的垂直强度分布和行索引。然后，二维全局轮廓图通过计算垂直强度分布 $V$ 被降维为一维信号，该信号利用平均核 $k_{avg}$ 沿垂直轴聚合边缘强度。界面的像素位置 $Z^*$ 通过寻找该分布的最小值（argmin）来确定，对应于如图3所示的最强相界面。估算的液位像素坐标利用空间坐标和转换因子 $\gamma$（公式(11)）投影回 $G_{raw}$。如图3所示，物理测量单位下的界面高度 $h_{level}$ 计算如下：

(11) $h_{level} = h - Z^* \cdot \gamma$

其中 $Z^*$ 表示以像素单位表示的界面位置。图4展示了所提出方法的示意概述，列出了从原始图像获取到界面高度估算的各个阶段（算法1）。

**图4.** 所提出的基于计算机视觉的界面估算框架的示意图工作流程。

**算法1.** 基于互信息的界面高度估算。

**输入：** 图像序列 $G_{raw} \in \mathbb{R}^{m \times n \times 3}$，ROI $R = (x, y, h, w)$，参考点 $p_1, p_2$，距离 $d_{ref}$，参数 $\rho = 1.25$，特征可分性常数 $\epsilon$。

**1.** 初始化校准因子 $\gamma \leftarrow \frac{\|p_2 - p_1\|_2}{d_{ref}}$

**2.** 对于 $t$ 从 $1$ 到 $T$ 且 $\|I_u - I_v\| > \epsilon$，执行：

**3.** 步骤1：统计分割

**4.** 提取ROI：$G_{ROI}(t) \leftarrow G^{(t)}(y:y+h,\ x:x+w)$

**5.** 估计联合概率 $P(I_u, I_v)$

**6.** 计算PMI：$PMI_\rho(I_u, I_v) \leftarrow \log \frac{P(I_u, I_v)^\rho}{P(I_u)P(I_v)}$

**7.** 构造亲和矩阵：$F_{u,v} \leftarrow \exp\left(\sum_{k=1}^{M} PMI_\rho(f_{uk}, f_{vk})\right)$

**8.** 求解谱聚类：$(D - F)q = \lambda Dq$

**9.** 方向性空间导数：$E(x, y, \theta) \leftarrow \nabla_\theta v_k(x, y)$

**10.** 生成轮廓图：$G_c^{(t)} = G(E(x, y, \theta))$

**11.** 步骤2：高度估算与逆向校准

**12.** 计算垂直分布：$V^{(t)} \leftarrow G_c^{(t)} \cdot k_{avg}$

**13.** 界面定位：$Z^{*}(t) \leftarrow \argmin(V^{(t)})$

**14.** 映射到物理单位：$h_{level}(t) \leftarrow h - \frac{Z^{*}(t)}{\gamma}$

**15.** 结束

**16.** 返回 $\{h_{level}\}_{t=1}^{T}$

所提出的框架即使在各种图像退化发生时也可使用。诸如遮挡、泥浆污渍、光照变化和伪影等图像退化在轮廓图中表现为局部聚类或孤立区域。这些退化可能表现出规则或不规则的空间模式，并出现在广泛的像素强度范围内。因此，ROI内的轮廓生成过程可能产生多个相界面，既代表实际界面，也代表由图像退化引起的像素强度变化所导致的伪轮廓。由于投影核在图像的全宽度（$n$）上对强度进行平均，仅占据行宽小部分比例的局部退化会被统计衰减。它们对行平均强度的贡献被 $1/n$ 的因子稀释，从而阻止其产生虚假最小值。在接下来的章节中，将通过一个涵盖多种图像退化场景的案例研究来展示所提方法的适用性。

## 4. 案例研究1：动态液位测量

通过一个由比例-积分-微分（PID）控制器控制的单容器系统中的液位估算案例研究，对所提出方法的性能进行了评估，如图5所示。实验装置的设计目的是研究闭环控制下容器中液位的变化。连接容器的电容式传感器（工作频率为1 Hz）作为与基于图像的测量进行比较的真实值基准。实验由LabVIEW软件控制。实验开始时系统处于稳态，随后在容器的入口流量中引入输入变化，观察液位对该变化的响应。电容式传感器的电压信号通过数据采集系统进行记录。与此同时，一台Allied Vision 1800C相机以228 × 618像素分辨率、10 fps的帧率捕获图像。电容式传感器和基于图像传感器的数据均进行了时间同步，以确保准确比较。在系统上引入了各种图像退化（遮挡、污渍、模糊和光照变化），以模拟工业条件。

**图5.** 实验装置。

所提出的图像分析策略在MATLAB R2023a中实现，使用图像处理工具箱和核密度估计工具箱进行计算密集型的图像处理任务。所有图像处理操作均使用工具箱提供的默认参数设置执行。实验在一台配备Intel Core i9-12900 K处理器（3.20 GHz，16核/24逻辑处理器）、64 GB内存和NVIDIA GeForce RTX 3070 GPU（8 GB显存）的工作站上完成，运行Microsoft Windows 11 Pro。对于PMI计算，局部亲和半径设置为 $r = 5$ 像素，联合概率分布通过核密度估计进行估计，每种退化场景使用5000对均匀采样的像素对。这些值平衡了统计稳健性和空间精度，提供了足够大的样本量来估计联合概率分布，同时不模糊局部特征，与Isola等人（2014）建立的最优设置一致。所提出的方法还与Canny边缘检测器进行了比较，Canny边缘检测器使用5 × 5核的高斯预滤波，随后执行自适应滞后阈值处理，定义为 $T_{low} = (1-\sigma) \cdot \tilde{I}$ 和 $T_{high} = (1+\sigma) \cdot \tilde{I}$，其中 $\tilde{I}$ 表示模糊灰度图像的中值强度，$\sigma = 0.33$。梯度幅值通过孔径大小为 $k = 3$ 的Sobel算子使用L2范数计算。基准和退化图像场景下的液位估算结果将在以下章节中呈现。

### 4.1. 场景A：基准图像

在本研究中，基准图像被定义为界面清晰可见、在整个过程中保持水平且各相之间像素强度均匀的图像。图6(a)说明了选定的ROI对应的此类基准图像。提取ROI以消除原始图像中的冗余信息，随后转换为离散图像帧以供进一步分析。对于给定的一组基准图像，选择一个参考帧来确定液位估算所需的参数，如第3.4节中定义的那样。对于可分性常数（$\epsilon$），通过在相界面边界上选择像素点来评估强度差异，确保跨相像素对在统计上可区分。参数值在表1中报告，并在所有后续实验场景中保持不变。

**图6.** (a) 基准图像，(b) 其轮廓图，(c) 垂直分布。

**表1.** 基于PMI的界面高度估算的基准参数。

| 描述 | 参数值 |
|------|--------|
| 参考像素坐标 $p_1, p_2$ | (79, 389)；(79, 416) |
| 像素-长度转换因子 $\gamma$ | 27.07 像素/cm |
| 基准ROI图像的空间坐标 $x, y, w, h$ | (86, 160, 228, 619) |
| 参考像素间的距离 $d_{ref}$ | 1 cm |
| PMI缩放参数 $\rho$ | 1.25 |
| 采样像素对数量 $N_P$ | 5000 |
| 可分性常数 $\epsilon$ | 0.285 |

在ROI内，随机采样像素对以计算其联合概率分布，并使用公式(1)计算相应的PMI值，以准确估算像素之间的统计关联。随后，如第3.2节所述，应用谱聚类和几何变换来检测图像中的边缘边界，从而生成图6(b)所示的轮廓图。然后通过公式(7)计算垂直强度分布，即对轮廓图中每行的所有列的像素强度值进行平均。所得到的垂直强度分布如图6(c)所示。进一步分析强度分布以识别呈现最低灰度的行，该对应于图像中潜在的液位位置。使用像素-长度校准因子（$\gamma$）通过公式(11)将液位位置量化为物理单位。该过程在118.4秒实验期间获取的1184张连续图像上重复进行，系统地获得了液位变化。

与此同时，从电容式传感器获取液位测量值。为了与基于图像的测量值进行逐点对比（考虑到它们不同的测量频率），将电容式传感器的读数线性插值以与基于图像的测量值对齐，并计算均方根误差（RMSE）。比较结果如图7所示。可以观察到，在RMSE为0.097 cm的情况下，基于电容式传感器的真实值与从基于图像的测量中估算的液位之间存在密切匹配。作为基准比较，Canny边缘检测器也应用于同一组基准图像序列，并执行相同的垂直分布分析以从所得边缘图中获取界面高度。如表3所述，所提出的方法实现了比Canny更低的RMSE。这表明所提出的计算机视觉技术在基准条件下能准确估算变化的液位。

**图7.** 基准图像的实际液位与估算液位比较。

### 4.2. 场景B：遮挡

在此场景中，在过程设备的视镜上引入了不同的遮挡物。遮挡物的设计旨在模拟现实挑战，如悬浮固体颗粒、污泥或沉淀物，这些可能遮挡界面的视线。图8(a)展示了受遮挡退化的示例输入图像。为了评估所提出方法的鲁棒性，包含了规则和不规则形状的遮挡物。

**图8.** 受以下退化的输入图像：(a) 遮挡，(b) 泥浆污渍，(c) 雾/凝结水，(d) 模糊像素化，(e) 光照变化。

所提出的方法系统地应用于90.3秒实验期间获取的903张退化条件图像。这些遮挡物引入了虚假边缘，掩盖了实际的界面边界。具体来说，当遮挡物的水平边缘与界面对齐时，会创建准确估算界面高度的困难条件。研究发现，所提出的方法能有效衰减这些虚假边缘并准确识别局部边缘边界。RMSE（尽管略高于基准场景）为0.161 cm，表明与真实值吻合良好。表3中展示了该场景与Canny边缘检测器的比较。

类似地，进行了多种具有不同几何形状遮挡物的实验。在视镜上引入矩形、圆形和正方形等不同遮挡物形状，旨在评估所提出方法的鲁棒性并确保其在广泛视觉退化场景下一致的性能。这些实验的结果系统地列在表2中，该表显示所提出的方法在存在遮挡物的情况下能可靠地检测和分割特征，使其适用于工业环境部署。

**表2.** 在视镜上存在不同遮挡几何形状时，所提出的基于图像的传感器液位估算性能的定量比较。

| 实验详情 | 遮挡几何形状 | RMSE (cm) |
|----------|-------------|-----------|
| 基准（118.4秒，1184张图像） | — | 0.097 |
| 遮挡（90.3秒，903张图像） | 圆形 | 0.161 |
| | 不规则形 | 0.228 |
| | 六边形 | 0.134 |
| | 正方形 | 0.317 |
| | 矩形 | 0.342 |
| | 多种遮挡 | 0.315 |

接下来，通过模拟视镜上的泥浆污渍引入了另一种形式的图像退化，如图8(b)所示。该实验进行了83秒，以评估该方法在存在泥浆污渍时准确估算界面高度的能力。将所提出的方法应用于确定图8(b)所示图像的边缘边界和轮廓图的垂直分布以进行高度估算。该过程对831张图像重复进行，结果确认了整个实验过程中可靠的界面高度估算。RMSE为0.131 cm，低于Canny边缘检测器（表3），表明与真实值吻合密切，并证明所提出的方法即使在存在泥浆污渍的情况下仍能保持准确的性能。

**表3.** 所提出的基于图像的方法与Canny边缘检测器之间液位估算精度的比较。

| 退化类型 | Canny边缘检测器RMSE (cm) | 所提方法RMSE (cm) | ΔRMSE (%) |
|----------|--------------------------|-------------------|-----------|
| 基准 | 0.193 | 0.097 | 49.74 |
| 遮挡 | 0.384 | 0.161 | 58.07 |
| 泥浆污渍 | 0.171 | 0.131 | 23.39 |
| 雾/凝结水 | 10.690 | 0.193 | 98.19 |
| 模糊像素化 | 5.050 | 0.203 | 95.98 |
| 光照变化 | 0.256 | 0.176 | 31.25 |

为了调查方法保持有效时遮挡与界面比例的上限，系统地引入了不同形状和尺寸的遮挡几何体，并在各次实验中逐步增加覆盖界面可见性的面积。对于每种情况，计算RMSE以评估估算精度的退化程度。如图9所示，对于较小的遮挡面积，该方法保持令人满意的性能；然而，当遮挡物覆盖超过50 cm2的界面可见性时，观察到RMSE显著增加。超过该值后，垂直分布呈现出真实界面与遮挡边缘之间具有可比幅度的竞争最小值，使公式(8)中的argmin操作变得模糊。在这种情况下，全局平均核不足以衰减遮挡边缘，因为退化跨越了图像宽度的显著部分。这表明了在基于遮挡的退化条件下的实际工作极限。

**图9.** 对不同形状和尺寸遮挡物的定量鲁棒性分析。

### 4.3. 场景C：成像伪影

在此场景中，考虑了可能不利影响图像数据中界面高度可见性的额外类型过程异常。伪影是由于成像系统限制、压缩算法或传感器噪声而在图像中产生的失真或不期望的改变。

例如，有损压缩可能会引入块状图案、模糊或色偏等伪影。此外，运行环境也可能引入大量噪声；例如，工艺流体与外部环境之间的温差会导致目视玻璃上形成冷凝水或雾气，水滴可能积聚，从而降低通过目视玻璃观察界面时的可见度。泡沫或气泡的形成也带来类似的挑战，进一步阻碍通过目视玻璃进行清晰观察。这些场景模拟了实际工况，在这些工况下，由于图像质量下降，界面水平检测和估计变得模糊不清。为了全面评估所提算法的性能，开展了受控实验，涉及包括雾气、冷凝水和像素模糊在内的异常条件。所提方法在62秒的实验过程中被应用，期间共采集并处理了627张图像以获取界面水平。该图像序列包含由目视玻璃上的雾气和冷凝水引起的视觉伪影，如图8(c)所示。所提方法在RMSE方面达到0.193厘米，表明在视觉上退化的条件下具有高度吻合。在随后的一次实验运行中，通过以较低分辨率运行相机引入了另一种伪影——像素模糊。图8(d)展示了一张样本图像。该实验持续72秒，期间连续采集并依次处理了723张图像。所提算法的RMSE为0.203厘米，突显了其稳健性和适应性。在这两种场景中，所提方法均实现了低于Canny边缘检测器的RMSE，如表3所示。

**4.4. 场景D：光照变化**

在本次实验运行中，解决了光照变化的挑战，光照变化会导致目视玻璃上产生眩光或内部反射，显著影响图像强度和图像质量。该问题在工业环境中尤为相关，因为波动的光照条件在所难免。为应对该问题，在实验装置中液位罐的目视玻璃上引入了光照变化。这些变化降低了界面水平的可见度，如图8(e)所示。所提方法被应用于受光照变化影响的图像，生成了轮廓图及其对应的垂直剖面。该连续监测在64秒的实验过程中完成，共涵盖648张依次采集的图像，捕捉了整个过程中液体界面的变化，最终得到RMSE为0.176厘米。结果表明，所提方法即使在具有挑战性的光照条件下也保持了高准确性，实现了低于传统边缘检测器的RMSE（见表3），验证了其在实际工业应用中的有效性。

接下来，我们讨论多相系统中的界面水平估计。

**5. 案例研究2：多相系统**

该框架自然延伸至多相系统中的界面（例如油-水-气）。这些界面可能代表液-液或液-气相变。针对多相界面水平估计考虑了两种不同的实验场景。在第一种场景中，水和油被依次引入量筒中，以形成明显的油水分层体系。达到稳态后，建立了两个清晰可见的界面：液-液（油水）界面位于相界面上，液-气（油气）界面位于油层的顶部，如图10(a)所示。

> 下载：下载高分辨率图片（281KB）| 下载：下载全尺寸图片
>
> **图10.**（a）来自油水系统的输入图像，（b）其轮廓图，（c）垂直剖面。

从该装置采集的每一张图像都作为所提方法的输入。ROI被定义以涵盖量筒中所有形成界面对应的可用体积，空间坐标为（x=1172, y=1622, w=516, h=2005）。通过识别参考像素坐标p1=(311, 883)和p2=(311, 1029)，对应量筒上已知的体积刻度，进行校准，获得γ=101.4像素/厘米，如第3.4节所述。参数ρ设定为1.25，与单相案例研究一致，并且每幅图像随机采样10000个像素对以估计联合概率分布。只要界面保持水平，所提方法在多相场景中仍能有效进行可靠的界面水平估计。

考虑图10(a)中显示的图像：油水界面经人工识别位于15.27厘米处，而油气界面水平观察在18.94厘米处。与单相液位测量不同，多相系统对传统传感器构成重大挑战，因为它们通常只能检测总体液位，可能无法可靠地同时区分多个相界。因此，人工目视检查量筒刻度作为本案例研究中界面水平验证的基准参考值。

将所提方法应用于ROI后，提取出边缘边界。随后对轮廓图进行垂直剖面分析，揭示了最小灰度像素强度的位置，这些位置对应于液-液界面和气-液界面。在这些情况下，垂直剖面会表现出多个局部极小值或像素强度的突然下降。该方法不假设单一最小值，而是扫描垂直剖面以识别两个局部极小值，每个极小值对应一个不同的界面（例如油水界面和油气界面），并按在图像中的深度从高到低排序。相应地，灰度垂直剖面指示的界面水平分别为15.2厘米和19.11厘米。因此，估计值与观测值之间的测量误差分别约为0.07厘米和0.17厘米。

该方法在来自另一个油水系统的图像上也得到了进一步验证，如图11所示。在第二种场景中，通过混合不同比例的油和水配制胶体溶液，以在系统中引入浑浊度。两种胶体溶液被分别转移到不同的量筒中。两个系统均被允许达到稳态后，再通过相机装置采集图像。两种溶液的浑浊程度不同，如图11(a)和11(c)所示。在该场景中，浑浊条件下形成的界面使得界面水平的准确识别变得困难。所采集的图像随后用于评估所提方法在浑浊条件下界面水平估计的性能。

> 下载：下载高分辨率图片（566KB）| 下载：下载全尺寸图片
>
> **图11.** 具有不同界面水平的油水系统图像及其对应的垂直剖面。

这些场景的参数按照第3.4节中描述的程序确定。图11(a)展示了来自该油水系统的实验图像，图11(b)表示其对应的垂直强度剖面，其中观察到两个明显的极小值，每个极小值对应一个检测到的界面水平。该方法实现了可靠的估计，两个界面的误差分别为0.17厘米和0.05厘米。随后，该方法被应用于图11(c)中显示的图像，该图像具有更高的浑浊度。对应的垂直强度剖面如图11(d)所示，也证实了准确的界面估计。该案例的估计误差分别为0.16厘米和0.07厘米。综合以上结果，证明了该方法在广泛的具有挑战性的成像条件下均有效。

所提方法的输出稳定性和计算需求根据采样像素对数（Nkernels）和图像分辨率进行评估。对于稳定性分析，使用所提方法在Nkernels的不同取值下进行边界检测，使用独立的随机种子执行五次，并计算所得边缘图的逐像素标准差平均值。如图12所示，该指标从Nkernels=1000时的0.775单调递减至Nkernels=10000时的0.455，此后保持稳定，确认了密度估计在N>10000时已收敛且输出边缘图已稳定。这些结果证明了Nkernels=5000作为计算效率较高的操作点的合理性（可实现显著收敛），而Nkernels=10000则作为完全稳定的保守上限。PMI缩放参数（ρ=1.25）和亲和半径（r=5像素）是在Isola等人（2014）的研究中确立的，他们通过在不同数据集上进行系统性交叉验证确定了其最优值，而其在后续独立分割研究中的持续采用（Jaziri等人，2024；Keuper和Brox，2016）也证实了其稳健性和可推广性。为评估计算可扩展性，在七个图像分辨率下测量了处理时间和内存消耗，范围从原始分辨率的0.25倍到2.0倍，每个分辨率重复三次并取平均值以考虑系统级变异性。如图13(a)和13(b)所示，处理时间和内存均随图像分辨率单调递增。

> 下载：下载高分辨率图片（131KB）| 下载：下载全尺寸图片
>
> **图12.** 边缘图的逐像素平均标准差（σ?(E)），随采样像素对数Nkernels变化，基于五个独立随机种子。
>
> 下载：下载高分辨率图片（287KB）| 下载：下载全尺寸图片
>
> **图13.** 基于PMI的边界检测流程在七个图像缩放因子下评估的计算可扩展性，每个数据点代表三次独立运行的平均值：（a）处理时间，（b）峰值内存使用量随图像缩放因子的变化。

**6. 结论与未来工作**

本研究提出了一种基于图像的传感器，用于液位估计，旨在解决过程工业中通常遇到的挑战。传统的液位估计传感器往往存在局限性，包括易受环境干扰、随时间退化以及校准困难等。这些约束激发了对基于图像的传感器作为替代方案的探索，该方案利用计算机视觉技术，因为视觉数据能够捕捉系统的实际物理状态。然而，计算机视觉方法也面临挑战，例如由不完美图像数据引起的不准确。此外，依赖于历史工艺数据或训练模型的数据驱动方法需要对退化进行先验知识，这在实际中很少可用且因设备而异。

为克服这些问题，我们提出了一种方法，通过统一的处理框架有效应对各种形式的图像退化，并在一系列实验室规模的图像退化场景中提供准确的测量结果，这些场景旨在模拟不同的工业运行条件。通过结合基于PMI的轮廓表示与垂直强度分析，该方法对规则或不规则的图像退化均不敏感。此外，通过严格将分析限制在ROI内，排除了定义视玻璃区域之外产生的多余视觉噪声，如背景运动、管道反射或环境光线变化。该方法假设界面水平在整个过程中保持水平。因此，两相之间的水平相界被识别为通过垂直滤波识别的全局空间特征。这对应于表现出显著强度变化的界面，指示液位的位置。

本研究考察了五种不同的退化场景，包括各种规则和不规则形状的遮挡场景，以及浑浊污渍，以模拟实际运行条件。同样，还考察了其他场景以考虑伪影，如像素模糊、不当光照和相机错位。通过与传统电容传感器的比较分析，验证了所开发的图像传感器的准确性。尽管面临各种挑战，结果表明所提方法实现了可靠的液位估计，RMSE范围为0.203±0.081厘米。此外，所提方法也在多相系统上进行了评估，取得了令人满意的结果，估计误差范围为0.12±0.06厘米。这些令人满意的结果凸显了图像传感器作为传统方法可行替代品的潜力，为工业应用中更具适应性和韧性解决方案奠定了基础。

当遮挡面积超过50平方厘米时，准确性显著下降。为应对这一问题，未来工作将侧重于开发图像重建技术，以补偿更高程度的图像退化。此外，为了将液位估计转化为垂直剖面任务，所提方法假设界面为水平平面。对于球形容器或存在显著毛细作用的工艺，该假设可能不成立，因为这些情况下液体表面形成弯曲的弯月面。在这些条件下，偏离平面界面会导致估计不准确。为缓解这一问题，未来研究将致力于将该框架扩展至估计具有非水平轮廓的界面。此外，所提方法将扩展至时间序列多相系统，适用于瞬态和动态条件，这在真实工业场景中较为常见。最后，关于计算效率，当前的延迟限制了所提方法在涉及高速多相流时的实时应用。未来也将探索该方法的变体，在统计稳健性和计算成本之间提供权衡，以适应此类用例。

**CRediT作者贡献声明**

Sakshi Rasanya：撰写——初稿，软件，方法论，调查。Babji Srinivasan：撰写——审阅与编辑，监督，方法论，概念化。

Rajagopalan Srinivasan：写作–审阅与编辑，验证，监督，项目管理，方法论，调查，资金获取，概念化。
Sakshi Rasanya|Babji Srinivasan|Rajagopalan Srinivasan