HydrocamCollect：一种用于基于相机的水文监测的鲁棒数据采集与云数据传输工作流

《Environmental Modelling & Software》：HydrocamCollect: A Robust Data Acquisition and Cloud Data Transfer Workflow for Camera-based Hydrological Monitoring

本文针对基于相机的水文监测在偏远地区部署时面临的网络连接不稳定、数据完整性难以保证以及缺乏自动化管理等挑战，介绍了一种名为HydrocamCollect的鲁棒、云集成数据采集工作流。该研究利用低成本树莓派计算机和IP相机，实现了图像自动捕获、云端上传完整性验证、本地元数据存储及成功上传文件清理等功能，并集成了无服务器云监控组件以检查预期上传数据并在失败时触发警报。在犹他州两个站点超过四个月的部署表明，该系统提供了一种容错、可扩展的解决方案，能够可靠地在大规模环境传感网络中收集和传输图像数据，为水文研究、洪水预报和水资源管理提供了重要技术支持。

　　

可靠、高分辨率的河流流量数据对于水文研究、洪水预报和水资源管理至关重要。传统的流量监测方法，如美国地质调查局采用的基于水位-流量关系曲线的方法，通常需要在水体中安装接触式传感器，这些传感器不仅价格昂贵，在偏远地区部署和维护也充满挑战，尤其在洪水期间，设备和人员安全风险较高。此外，传统传感器的准确性易受水质、温度和泥沙浓度的影响。近年来，基于相机的非接触式河流流量监测技术展现出巨大潜力，它能够远程测量水流参数，无需将设备浸入水中，从而在安全性、维护成本和极端水流条件适用性方面具有显著优势。特别是随着计算能力和图像处理算法的进步，尤其是卷积神经网络等机器学习模型的应用，大大提高了基于相机估算流量的准确性和可靠性。

然而，尽管相关研究已超过二十年，相机仍未在水文监测业务中广泛替代或补充传统方法。其核心挑战在于如何高效地收集、管理和处理从偏远地点产生的大量高频图像和视频数据。在偏远地区，不稳定的互联网连接、有限的本地存储空间以及需要手动 oversight 等问题，都阻碍了相机监测系统的可靠、规模化运行。例如，连接中断会导致数据上传失败，未上传的数据在本地累积可能占满存储空间导致系统崩溃；大文件传输过程中可能发生数据损坏；缺乏自动监控意味着长时间的数据缺失可能无法被及时发现。因此，亟需一个能够自动捕获、传输、处理、存储和组织数据，跟踪未发送文件，验证数据完整性，并在存储空间超过阈值时进行清理的综合工作流程。该系统还应能在发生故障或问题时向待命的技术人员发出警报，确保及时干预以防止数据丢失。

为了应对这些挑战，由Sajan Neupane、Jeffery S. Horsburgh、Razin Bin Issa和Sierra Young组成的研究团队，在期刊《Environmental Modelling 》上发表了他们的研究成果，介绍了一种名为HydrocamCollect的鲁棒数据采集和云数据管理工作流。该工作流专为具有互联网连接的基于相机的水文监测站设计，旨在解决从远程监测站到云端的可靠数据传输、数据完整性、可扩展性和最小化人工干预等挑战。

研究人员为基于相机的监测系统设计了一套自动化、可扩展的工作流软件HydrocamCollect。该系统利用低成本的树莓派计算机和商用IP相机，实现了图像和视频数据在用户定义时间间隔的自动捕获。捕获的媒体文件存储在树莓派本地，并按照时间戳（年/月）进行目录分类管理。系统使用SQLite数据库记录每个文件的元数据，包括文件名、类型、本地路径、上传状态、云存储路径和数据完整性状态。在上传前，系统会验证互联网连接，若连接不可用，则会尝试重新连接网络。确认连接后，数据通过云服务商的SDK上传到云对象存储，并利用MD5校验和进行数据完整性验证，确保上传文件与本地原件一致。对于因网络问题未能成功上传的文件，系统会记录在数据库中，并在连接恢复后自动重传。为管理有限的本地存储空间，系统会定期清理已成功上传且通过完整性验证、并超过用户定义保留期的旧文件。工作流中还嵌入了错误处理和警报机制，当遇到错误时，程序会记录日志并尽可能通过亚马逊简单通知服务向技术人员发送电子邮件警报。此外，作为额外的故障保护措施，研究还利用AWS Lambda构建了一个无服务器云监控组件，该组件定期检查云存储中最新文件的上传时间，如果超过设定的阈值未收到新数据，则会触发警报，通知技术人员可能存在站点故障、长时间网络或电源中断等问题。

该研究在犹他州北部两个监测站（洛根河和铁匠叉河）进行了实际部署和验证，持续运行超过四个月。部署使用了树莓派5作为现场计算机，并选用了两种不同的符合NDAA要求的商用IP相机。数据采集代码使用Python编写，依赖于ffmpeg-python进行图像捕获，boto3和google-cloud-storage库分别用于将数据上传到亚马逊S3和谷歌云存储，以实现冗余。

研究结果表明，HydrocamCollect工作流有效解决了远程相机监测的诸多挑战。在部署新系统后，两个站点均实现了连续可靠的数据采集和上传。例如，洛根河站点在部署后的四个多月内未发生数据丢失，而此前该站点曾出现过23次长时间数据丢失事件，最长持续达14天。系统成功处理了偶尔出现的临时网络中断，所有在中断期间采集的数据均在连接恢复后被扫描并成功上传，最终上传成功率达到100%。虽然云监控警报曾因上传延迟超过3小时阈值而触发，但这些均源于临时性网络问题，数据最终都成功上传。期间仅出现少量上传错误通知，但系统均通过自动重试机制成功完成上传，证明了其鲁棒性和自恢复能力。

该工作流的核心贡献在于其设计实现了一个能够自动捕获图像和视频数据、执行文件完整性验证、上传至云存储并在失败时发出实时警报的模块化、自动化解决方案。通过结合容错上传机制、MD5哈希数据完整性检查以及自动处理未上传和过期文件的功能，该工作流确保了数据采集的准确性、连续性和可靠性。无服务器云监控的加入进一步增强了系统的韧性。研究证明，该工作流使得基于相机的流量监测在实际野外部署中更加实用和可扩展，只需最少的人工干预，即可实现从地理分布的监测站点进行连续自动的数据采集。这对于应对气候变化背景下日益增长的水文变异性至关重要，高分辨率、实时的数据有助于洪水预报、水资源管理和长期气候适应战略。

最终，这项工作为在实际环境中实现基于计算机视觉的河流流量监测业务化运行做出了贡献，弥合了概念验证研究与业务化野外部署之间的差距。它为以成本效益高且可扩展的方式扩展监测网络奠定了基础，支持21世纪水文科学和可持续水资源管理的更广泛目标。该工作流的代码已在GitHub上开源，便于其他研究人员和实践者重用与定制。