《Data-Centric Engineering》:Unsupervised scene-based clustering for underwater structural health monitoring: Enhancing image categorization and feature matching
编辑推荐:
本研究提出了一种用于水下结构健康监测(SHM)的场景基聚类方法,通过内在场景属性(能见度、颜色和浊度)对图像进行分类。从目标检测转向整体场景理解,通过预过滤次优图像并优化下游任务(如图像匹配和配准),增强了水下基础设施检测的自动化状态评估。确保算法在具有一致光
本研究提出了一种用于水下结构健康监测(SHM)的场景基聚类方法,通过内在场景属性(能见度、颜色和浊度)对图像进行分类。从目标检测转向整体场景理解,通过预过滤次优图像并优化下游任务(如图像匹配和配准),增强了水下基础设施检测的自动化状态评估。确保算法在具有一致光照、纹理和清晰度的图像上运行,可减少歧义并增强特征对应。该方法整合了局部和全局特征提取、相关性分析、特征选择、降维和异常值检测,以提升聚类准确性和管道鲁棒性。聚类采用层次和质心基算法,通过轮廓系数(Silhouette Score)、Calinski-Harabasz指数(Calinski-Harabasz Index)、F1分数(F1-score)、V测度(V-measure)、调整互信息(Adjusted Mutual Information)和调整兰德指数(Adjusted Rand Index)进行评估,并在伪标签情况下应用匈牙利算法(Hungarian algorithm)进行标签映射。该方法在真实和合成水下数据集上得到验证,包括一个包含水面以上和水面以下段落的桥梁检测视频数据集,以及评估浊度对水下结构构件影响的受控实验室实验。一个关键贡献是评估了聚类和未聚类图像集之间的特征匹配性能,证明场景基聚类显著增强了关键点检测、特征对应和内点比率,同时减少了由光照和视点变化引起的误匹配。此外,在此无监督设置中,工程特征优于预训练深度学习特征,提供了更可靠的全局场景表示,并改善了聚类和特征匹配结果。这些发现确立了所提出的管道作为水下SHM的有价值工具,支持3D重建、基础设施评估和自主水下检测等应用。
**论文解读:无监督场景基聚类在水下结构健康监测中的应用:增强图像分类与特征匹配**
**研究背景与问题**
水下基础设施(如桥墩、水坝、海上结构)的检测是维护其韧性的关键任务,传统依赖潜水员目视检查,耗时且具破坏性,在紧急情况下专业人员短缺问题尤为突出。现代机器人系统结合数字成像与计算机视觉虽提供了改进机会,但水下环境对视觉算法构成独特挑战:光线衰减、散射、吸收、颗粒物、闪烁光照等导致图像质量严重退化,如色度降低、对比度低、模糊、不均匀色偏和噪声。此外,机器人采集的图像通常非结构化且缺乏上下文,使得数据集组织困难。现有水下图像分析方法多聚焦于目标级分类或图像增强/恢复,缺乏基于场景的整体理解。场景级预处理对于结构从运动(SfM)等下游任务至关重要,但尚未有标准化框架对水下图像进行场景感知聚类。因此,需要一种无监督、无需标注数据或专用传感器的方法,能自动根据环境条件(如能见度、颜色、浊度)组织图像,以提升特征匹配可靠性、降低计算成本,并支持3D重建、基础设施评估和自主检测。
**研究内容与结论**
研究人员开发并验证了一个无监督场景基聚类管道,用于水下结构健康监测(SHM)。该管道通过整合多尺度特征提取、相关性分析、特征选择、降维、异常值检测和聚类算法,将图像按内在场景属性(能见度、颜色、浊度)自动分组。研究在多个数据集上进行了系统评估,包括真实世界数据集(UIEB、LSUI、UCCS、UID2021、U45)、合成数据集(UWCNN)、浊度参考数据集(Turbidivision)以及自采集的现场(Occoquan桥视频,含水面以上和以下段落)和实验室数据(控制浊度水平)。关键结论包括:场景基聚类显著提升了特征匹配性能,包括关键点检测、匹配数量、内点比率,同时减少了因光照和视点变化引起的误匹配;工程特征(手工特征)在无监督设置中优于预训练深度学习特征(ResNet-50),提供更可靠的全局场景表示;层次聚类(HC)与Ward链接法一致性地产生最优聚类结果,且层次结构提供了操作灵活性;聚类管道在真实SHM场景中验证了适用性,并证明了其对下游3D重建和图像配准的效率提升。该研究发表在《Data-Centric Engineering》。
**关键技术与方法**
研究人员采用了以下主要关键技术方法:(1)特征工程:包括颜色与光照分析(颜色直方图、颜色矩、暗通道先验(DCP)估计背景光和透射图)、纹理与清晰度分析(局部二值模式(LBP)、拉普拉斯方差、Sobel算子、梯度基排序、香农熵)以及质量评估指标(UCIQE、UIQM、URanker、CIQI、BRISQUE、TOPIQ_NR、ARNIQA),并提取ResNet-50深度特征(全局平均池化层,2048维);(2)特征空间优化:基于Pearson相关系数(阈值0.75)进行特征选择,并采用主成分分析(PCA)、t-分布随机邻域嵌入(t-SNE)或均匀流形逼近与投影(UMAP)进行降维;(3)异常值管理:集成修正Z分数、Tukey法和孤立森林进行异常值检测;(4)聚类:使用K-means、密度基空间聚类(DBSCAN)和层次聚类(HC,含多种链接方法),通过轮廓系数、Davies-Bouldin指数、Calinski-Harabasz指数等内部指标和调整兰德指数(ARI)、调整互信息(AMI)、V测度、F1分数等外部指标评估;(5)后聚类分析:通过SIFT、ORB、AKAZE特征检测与匹配,以及Agisoft Metashape光测距配准验证。样本队列来源包括UID2021、UCCS、U45、UWCNN、Turbidivision、UIEB、LSUI以及自采集的现场数据集(Field Test 1和Field Test 3)和实验室数据集(Lab Test)。
**研究结果**
**3.1. 水下图像数据集**:研究人员使用了多种数据集,包括标注数据集(UID2021、UCCS、U45)、合成数据集(UWCNN,模拟10种Jerlov水类型)、浊度参考数据集(Turbidivision,含11个浊度水平)、真实世界数据集(UIEB、LSUI)以及自采集的现场(Occoquan桥,两轮测试)和实验室数据(控制浊度,5个水平,共1700张图像)。这些数据集覆盖了从受控到高度变化的环境,为管道评估提供了全面基础。
**3.3. 特征降维**:通过相关性分析(阈值0.75)发现,质量评估指标具有最高平均相关(|r|=0.688),颜色特征相关性较低。工程特征从73维降至23-41维,深度特征从2048维降至1195-2038维。PCA在降维和聚类性能上优于t-SNE和UMAP。工程特征在所有数据集上均获得比深度特征更高的轮廓系数,例如UWCNN上工程特征轮廓系数为0.8908,深度特征仅0.0678,表明工程特征提供更好的聚类分离性。
**3.4. 图像聚类与分类**:DBSCAN因参数敏感(过度碎片化或过度聚合)而失败,而K-means和层次聚类(HC)表现良好。HC与Ward链接法一致性地产生最优聚类结果,在标注数据集(UCCS)上外部验证指标(如F1分数0.7987、AMI 0.7067)表明与真实标签的良好对齐。在UID2021上,聚类质量较低(F1最高0.5215),反映其类别间可分性较弱。管道倾向于产生比真实类别更多的子簇,这有利于下游SfM任务,因其提高了光度一致性。
**3.5. 后聚类分析**:在Field Test 3上,采用SIFT特征匹配,聚类子集相比全数据集平均关键点检测(39.05 vs 29.47)、平均匹配数(1.037 vs 0.130)和内点比率(0.008 vs 0.000)均提升,不足匹配比率降低(0.693 vs 0.920),总处理时间从13594.3秒降至1291.9秒。多描述符比较显示ORB在匹配质量和效率上最优。消融实验验证了各组件(异常值移除、特征选择)的必要性。Agisoft Metashape配准验证进一步证实聚类后对齐照片比例更高(全数据集0.16 vs 聚类平均0.32),处理时间更低。
**讨论与结论**
讨论部分指出,聚类性能的变异性反映了不同数据集场景复杂度的差异,且聚类粒度可根据任务需求调整(高层次用于一般检测报告,细粒度子簇用于自动特征匹配)。工程特征的优势源于其针对场景属性(如颜色、纹理、清晰度)的设计,而预训练深度特征因偏向目标级特征而表现不佳,未来可通过水下场景专用微调改进。研究人员强调,现有标注数据集并非为场景聚类设计,未来需构建专用数据集。
研究结论部分(翻译):本研究开发并验证了一个用于根据场景特征对水下图像进行分类的聚类管道,增强了图像可解释性,并提高了下游应用(如3D重建和定位)的特征匹配效率。该管道整合了特征提取、高级特征选择、降维和鲁棒聚类算法,以改善水下图像的场景基分类。通过多个数据集上的系统评估,使用内部聚类指标(如轮廓系数、Davies-Bouldin指数和CH指数)和外部指标(如ARI、AMI和纯度)评估性能,结果证实聚类子集增强了特征匹配,产生了更高的关键点检测、总匹配数和内点比率,同时减少了误匹配。层次聚类与Ward链接法一致性地产生最优聚类结果,其层次结构提供了操作灵活性。此外,工程特征优于深度特征表示,强化了结构化特征设计在聚类基分类任务中的有效性。然而,现有文献中的标注水下数据集并非为场景聚类设计,突显了对专用、良好标注数据集的需求。该方法进一步应用于自定义SHM基水下数据集,展示了其在真实世界条件下的结构健康监测适用性。研究强调了场景基聚类在推进水下图像分析中的潜力,为未来更有效的无监督学习框架铺平了道路。