《JOURNAL OF INTELLIGENT MANUFACTURING》：Toward memory-efficient melt pool monitoring: a classification framework using event-based imaging and sparse sensing technique
编辑推荐：
针对传统视觉传感器在激光增材与焊接过程熔池监控中存在的数据量大、处理资源需求高等挑战，本研究提出了一种结合事件成像与稀疏感知技术的分类框架，通过图像构建、时标选择、最优像素选择及稀疏分类，实现了高达500倍的内存节省，并在液态镓熔池深度分类实验中取得近90%的准确率，为高效实时的增材制造过程监控提供了新范式。
在激光增材制造（例如选区激光熔化）和激光焊接等先进制造过程中，熔池的实时监控对于确保零件质量和防止缺陷至关重要。然而，传统的基于CMOS或CCD相机等视觉传感器的监测方案面临着一个棘手的瓶颈：它们会产生海量的数据流。仅仅几秒钟的高速视频就可能需要数百GB的存储空间，这不仅带来了巨大的数据传输和计算处理压力，也使得实时诊断和连续的过程监控在成本和实用性上变得困难重重。此外，这些传统成像方式在拍摄如焊接电弧等高动态范围的场景时，容易产生像素过饱和或运动模糊，难以清晰捕捉熔池的动态细节。因此，寻求一种既能高效捕捉动态信息，又极大降低数据负载的新型监控方案，成为推动智能制造发展的关键。
本研究发表于《JOURNAL OF INTELLIGENT MANUFACTURING》的论文，探索性地将事件相机与稀疏信号处理技术相结合，构建了一套高效的内存优化型熔池状态分类框架。事件相机是一种受生物视觉启发的神经形态成像设备，其工作原理与传统帧式相机截然不同。它不按固定帧率拍照，而是以微秒级的延迟，异步地检测每个像素点上光强对数变化是否超过阈值。只有当变化发生时，才会报告一个“事件”，记录下时间戳、像素位置和亮度变化极性。这种机制天生具有数据稀疏、无运动模糊和高动态范围的优点。为了验证该框架在熔池监测中的潜力，研究人员设计了一个概念验证性的受控实验。他们使用镓这种低熔点金属来模拟熔池，并将其注入3D打印的圆柱形样品持有器中，形成了深度分别为3毫米、6毫米和8毫米的熔池。通过外接的电磁扬声器施加特定频段的随机噪声信号来激励熔池表面，模拟实际加工过程中的动态行为。同时，使用事件相机和一台传统CMOS相机（用于对焦和视野确认）从同一视角进行观测，采集数据。
为开展研究，作者主要应用了以下几个关键技术方法：首先，利用数字编码曝光技术将异步的事件流重建为具有不同时间尺度的传统帧图像，其帧率和曝光函数可在后处理中灵活调整以优化信息捕获。其次，为了融合时空信息并压缩数据，将多个时间序列帧横向拼接成复合图像作为分析单元。核心的稀疏感知技术则基于对数据矩阵的奇异值分解获取特征模态，并进一步通过带列主元选取的QR分解算法，从大量像素中智能筛选出信息量最大的最优像素子集。最后，利用线性判别分析分类器，仅基于这些稀疏像素对熔池深度进行分类。实验样本来源于上述受控设置下激发的不同深度液态镓熔池的动态事件数据。
研究结果如下：
时间尺度选择结果：通过对比分析200 fps与400 fps帧率下重建的图像，稀疏像素选择算法结果显示，大多数关键像素都落在了200 fps处理的图像区域，表明在100%曝光下，较低的帧率能捕获更丰富的熔池时空动态信息，对分类更具价值。
稀疏分类结果：研究构建了包含五帧连续时间序列的复合图像数据集。应用QR主元选取算法筛选出最优像素位置后，再使用LDA进行分类测试。当使用2000个稀疏像素（仅占全图像总可能像素的约0.013%）时，分类器在测试集上达到了接近90%（89.86%）的整体准确率；即使像素数降至200个，准确率仍可达75%。相比之下，随机选取相同数量的像素，其分类准确率分别仅为67%和46%，显著低于算法选取的结果。
QR主元选取像素与随机选取像素的比较：在不同像素数量下的系统对比表明，QR算法选取的像素在分类性能上始终优于随机选取。尤其在低像素数（如100个）时，QR算法的性能优势接近50%。要达到QR算法选取500个像素时的分类准确率（81%），随机选取需要超过2500个像素。这凸显了智能像素选择对于实现高效稀疏分类的必要性。
研究结论与讨论部分指出，该工作成功地将事件成像与稀疏感知技术结合，提出并验证了一种全新的、高内存效率的熔池监控方案。该框架不仅能准确分类熔池深度（作为不同工艺状态的代理），更能实现惊人的内存节省——经过稀疏采样的事件数据，其内存占用量可比传统成像方案减少约500倍。尽管本研究是在受控实验环境下完成的，但初步在碳钢TIG焊接场景下的测试显示，事件相机能有效克服传统相机过饱和的问题，清晰呈现熔池形状与表面振荡，证明了该技术向实际工业应用拓展的可行性。当然，规模化应用仍面临一些挑战，例如需要确保熔池在图像中的位置相对固定，以及对更多类型缺陷（如球化、飞溅、匙孔）进行区分时需要充足的、标记好的训练数据。总体而言，这项研究为激光增材制造和焊接领域的实时、低成本、低功耗过程监控开辟了一条富有前景的新途径，证明了通过算法智能筛选“关键信息”而非处理“全部数据”，是实现高效智能制造监控的核心思路之一。
