OwlSight：一种适用于黑暗环境视频中人体动作识别的鲁棒光照适应框架

《IEEE Transactions on Circuits and Systems for Video Technology》：OwlSight: A Robust Illumination Adaptation Framework for Dark Video Human Action Recognition

低光环境下人类动作识别方法提出OwlSight框架，集成时间一致性模块、亮度自适应模块和反射增强模块，利用Dark-101数据集（21,030条视频，101类动作）在ARID、Dark-48等基准测试中实现Top-1准确率最高99.27%，较现有方法分别提升2.0%、5.36%、1.56%、1.72%。

　　

摘要：

在低光照环境下进行人类行为识别对于各种实际应用至关重要。然而，现有方法未能充分利用训练过程中的亮度信息，从而导致性能不佳。为了解决这个问题，我们提出了OwlSight这一仿生框架，该框架通过全阶段照明增强来辅助行为分类，从而实现准确的黑暗视频中的人类行为识别。具体而言，OwlSight包含一个时间一致性模块（TCM），用于捕捉浅层时空特征同时保持时间连贯性；这些特征随后由亮度适应模块（LAM）处理，根据输入的亮度分布动态调整亮度。此外，还引入了反射增强模块（RAM），通过两条交互路径最大化照明利用率并提升行为识别能力。我们还构建了一个大规模数据集Dark-101，其中包含21,030个属于101个行为类别的黑暗视频，其规模和多样性远超现有数据集（如ARID1.5和Dark-48）。我们的方法在所有基准测试中均取得了最佳性能（SOTA），在ARID上的准确率达到了99.27%（提升了2.0%），在ARID1.5上达到了94.85%（提升了5.36%），在Dark-48上达到了48.24%（提升了1.56%），在Dark-101上达到了53.85%（提升了1.72%），证明了其在具有挑战性的黑暗视频环境中的卓越效果。