《Optical Switching and Networking》:Machine learning approaches for classical optical time-domain reflectometer: A review
编辑推荐:
•综述了用于经典OTDR迹线分析的机器学习方法。•比较了用于故障诊断任务的深度、混合和经典模型。•识别出数据鲁棒性和实际部署是关键研究空白。引言光纤通信因其众多优势——如高传输容量、长距离传输、强抗干扰能力、可靠的传输质量和增强的保密性[1]、[2]——已成为现代通信中具有变
- •
综述了用于经典OTDR迹线分析的机器学习方法。
- •
比较了用于故障诊断任务的深度、混合和经典模型。
- •
识别出数据鲁棒性和实际部署是关键研究空白。
引言
光纤通信因其众多优势——如高传输容量、长距离传输、强抗干扰能力、可靠的传输质量和增强的保密性[1]、[2]——已成为现代通信中具有变革意义的技术。光纤被广泛部署,延伸至城市基础设施下方,以及海洋、沙漠和偏远地区等复杂环境之中。然而,这些链路仍可能因断裂、劣质熔接或连接故障而中断,从而影响传输质量甚至完全中断通信[3]。此类故障可能导致严重后果,包括大量数据丢失、大规模计算中断以及关键信息传输受阻[4]。因此,在光网络中有效管理故障对于维持稳定运行、确保服务连续性以及故障发生时实现快速恢复至关重要。
光时域反射仪(OTDR)是用于光纤链路测试的主要工具之一[5]。作为一种光电子仪器,OTDR通过测量后向散射光和反射光来表征光纤特性并评估连接质量。如今,OTDR被广泛应用于光纤施工和维护领域,通过分析其迹线可以识别和定位光纤事件。近年来,随着近实时监控需求的增长,仅靠手动OTDR迹线分析已不足以满足要求,这催生了对自动事件分析算法的需求[6]。
已有许多研究探讨了OTDR事件检测问题[7]。传统OTDR迹线中的事件检测主要依赖于传统信号处理方法,如短时傅里叶变换(STFT)[8]、[9]、小波变换[6]、[10]、[11]、[12]以及各种自适应滤波方法[13]、[14]。基于小波的分解方法尤其流行,因为它能够捕捉局部特征。然而,这些方法存在若干局限性。例如,传统OTDR在时域中的分析往往对渐进变化或早期异常不敏感,而这些异常可能预示即将发生的故障。在低信噪比(SNR)条件下,需要更多去噪处理,这增加了计算复杂度并导致信息丢失,最终降低了检测灵敏度[7]。此外,OTDR迹线噪声很高,即使是经验丰富的工程师也难以解读。可靠的事件检测和定位通常需要大量平均处理,这既耗时又低效[15]。另一个挑战是传统模型的泛化能力有限,它们通常在合成数据或领域特定数据集上进行训练,而这些数据可能无法充分代表真实世界的故障场景[16]。人工智能(AI)已成为传统信号处理的有力替代方案,能够实现OTDR数据的自动分析并显著提高故障检测精度[17]。机器学习(ML)已在光物理层中得到广泛应用,因为它能更有效地处理不确定性和复杂系统行为[18]、[19]、[20]。应用包括光性能监控(OPM)[21]、[22]、调制格式识别[23]、[24]、[25]、非线性损伤补偿[26]、[27]、放大器控制[28]以及传输质量估计[29]、[30]。更近期,机器学习已被直接应用于OTDR迹线以识别和定位光纤缺陷,展现出克服传统方法局限性的强大潜力[7]、[15]、[31]。
已有的综述和相关研究讨论了机器学习在通用光网络[18]、[19]、[32]、[33]、OPM和故障管理[34]、[35]、[36]、相位敏感OTDR(-OTDR)系统[37]、[38]、[39]以及FTTx/PON系统中的光链路监控[40]方面的应用。一项密切相关的近期研究由Tremblay等人[41]开展,他们考察了用于分类在用OTDR迹线中由光纤损耗、拉曼放大、SRS和信道加载引起的分布式变化的监督学习和无监督学习方法。据我们所知,目前尚无专门针对经典OTDR迹线分析的机器学习方法的专题综述。在本文中,"经典OTDR"指的是用于链路表征和故障定位的基于强度的OTDR,区别于主要用于分布式传感的相位敏感-OTDR。
在本综述中,首先讨论OTDR的基本原理,并在第2节中阐述机器学习对于自动化迹线分析日益增长的重要性。第3节随后考察机器学习应用于OTDR的事件识别、故障定位和连续监控的方式。接下来,第4节总结了三种主要模型家族——经典、深度和混合模型——的内容,第5节回顾了训练和评估中最常用的数据集和评估指标。最后,对代表性方法及其部署复杂度进行比较,并重点阐述经典、深度和混合机器学习模型之间的权衡关系。
章节摘录
OTDR基础
OTDR的原理基于类似雷达的飞行时间测量,即短光脉冲被注入光纤中,随后分析产生的后向散射光和反射光。由光纤微观不均匀性引起的瑞利后向散射沿链路产生连续衰减信号。相比之下,菲涅耳反射发生在连接器或光纤断裂等离散点上,在这些位置折射率发生突变。后向散射
用于OTDR分析的机器学习方法
机器学习已成为改善OTDR分析的重要工具,尤其是在光网络规模日益扩大、监控要求不断提高的背景下。与传统信号处理方法不同,机器学习能够从OTDR迹线中学习复杂模式,从而支持更准确的光纤事件检测、表征和定位。它在处理噪声数据、识别异常或先前未见的事件以及支持连续监控和预测方面也具有实用价值。
用于OTDR分析的机器学习模型
第3节按OTDR任务(数据准备、事件检测和表征、异常处理、定位和分支分配以及运维)组织了文献。本节总结那些任务中使用的模型家族,并描述它们在所综述的OTDR研究中是如何实现的,而不再重复任务级别的比较。
为提供经典OTDR分析中机器学习方法的统一分类体系,表1总结了主要的OTDR-ML任务类别,
数据集与评估指标
在OTDR-ML研究中,数据集的质量、多样性和规模对模型训练、泛化和评估有重大影响。选择合适的指标同样重要,因为所综述的研究涉及不同的任务,包括事件检测、事件分类、定位、分支分配、迹线校正和故障表征。本节总结了经典OTDR-ML研究中使用的主要数据集类型和评估指标。其目的不在于对
讨论
本节综合了所综述研究的发现,并比较了用于经典OTDR应用的机器学习方法。讨论重点关注不同方法如何应对噪声鲁棒性、事件检测和表征、定位和分支分配以及监控问题,同时考虑数据集特性和预处理要求。
结论
本文综述了近期用于经典基于强度OTDR分析的机器学习方法,重点关注链路表征、事件检测、故障定位、异常处理和PON分支分配。所综述的研究表明,当数据集较小且能从迹线中提取有意义的特征时,经典监督方法(如随机森林、SVM和梯度提升)仍然有用。与此同时,深度和混合模型(包括CNN、LSTM)
作者贡献声明
Ahmed Hassan Hussein:撰写——原始草稿,方法论,概念化。Siti Barirah Ahmad Anas:撰写——审阅与编辑,监督,项目管理,资金获取,概念化。Syamsuri Yaakob:撰写——审阅与编辑,验证。Muhammad Hafiz Abu Bakar:撰写——审阅与编辑,方法论。Kharina Khairi:撰写——审阅与编辑,资源。Yun Ii Go:撰写——审阅与编辑。
资金资助
本研究由马来西亚教育部基础研究资助计划(FRGS)资助,编号:FRGS/1/2020/TK0/UPM/02/10。
利益冲突声明
作者声明不存在已知的竞争性经济利益或个人关系,这些利益或关系可能影响本文所报告的工作。
Ahmed Hassan Hussein|Siti Barirah Ahmad Anas|Syamsuri Yaakob|Muhammad Hafiz Abu Bakar|Kharina Khairi|Yun Ii Go