《INTERNATIONAL JOURNAL OF COMPUTER VISION》：HR-INR: Continuous Space-Time Video Super-Resolution via Event Camera
编辑推荐：
连续时空视频超分辨率（Continuous Space-Time Video Super-Resolution, C-STVSR）旨在以任意尺度同时增强视频分辨率和帧率。近年来，隐式神经表示（Implicit Neural Representation, IN
连续时空视频超分辨率（Continuous Space-Time Video Super-Resolution, C-STVSR）旨在以任意尺度同时增强视频分辨率和帧率。近年来，隐式神经表示（Implicit Neural Representation, INR）已被应用于视频恢复，将视频表示为可在任意尺度解码的隐式场。然而，现有基于INR的C-STVSR方法通常仅依赖两帧作为输入，导致帧间运动信息不足。因此，这些方法难以捕捉快速、复杂运动以及长期依赖（跨越多于三帧），阻碍了其在动态场景中的性能。在本文中，研究人员提出一种新颖的C-STVSR框架，命名为HR-INR，其基于INR同时捕捉整体依赖和区域运动。该框架由事件相机（event camera）辅助——一种以高时间分辨率和低延迟著称的新型传感器。为充分利用来自事件的丰富时间信息，研究人员设计了特征提取，包括（1）区域事件特征提取器——通过所提出的事件时间金字塔表示（Event Temporal Pyramid Representation, TPR）将事件作为输入，以捕捉区域非线性运动，以及（2）整体事件-帧特征提取器，用于长期依赖和连续性运动。随后，研究人员提出一种新颖的基于INR的解码器，具有时空嵌入（spatiotemporal embeddings），以更大的时间感知场捕捉长期依赖。研究人员在四个数据集（模拟和真实数据）上验证了该方法的有效性和泛化性，展示了该方法的优越性。项目页面见https://github.com/yunfanLu/HR-INR。
论文《HR-INR: Continuous Space-Time Video Super-Resolution via Event Camera》提出事件相机引导的连续时空视频超分辨率（Continuous Space-Time Video Super-Resolution, C-STVSR）框架。论文发表在《INTERNATIONAL JOURNAL OF COMPUTER VISION》。现实世界视觉信息如边缘和物体运动在时间和空间上连续，但现代系统受I/O带宽和传感器尺寸限制，只能以低帧率和固定分辨率记录视频，影响虚拟现实、自动驾驶交通分析等。基于隐式神经表示（Implicit Neural Representation, INR）的方法将视频表示为可在任意尺度解码的神经场，实现任意尺度空间上采样和任意帧率时间插值。然而，现有基于INR的C-STVSR方法通常仅用两帧输入，帧间运动信息不足，难以捕捉快速复杂运动和跨三帧以上长期依赖，动态场景性能受限。事件相机具有高时间分辨率和低延迟（小于1 μs），已有事件引导视频帧插值（Video Frame Interpolation, VFI）和视频超分辨率（Video Super-Resolution, VSR），但利用事件联合引导VSR和VFI的C-STVSR未充分探索。研究人员提出HR-INR，基于INR捕捉整体依赖和区域运动，由事件相机辅助，设计区域事件特征提取器和整体事件-帧特征提取器，并提出基于INR的时空解码器。研究结论表明，该方法在四个数据集上有效且泛化，优于基于帧和事件方法，具有时间稳定性和较少伪影。意义在于首个事件引导C-STVSR方法，为动态环境事件视频处理提供新思路。
关键技术方法：输入多帧RGB帧I
in和对应事件，输出任意帧率和分辨率视频I
out；事件时间金字塔表示（Event Temporal Pyramid Representation, TPR）在关键时间戳周围构造时间序列金字塔，以较细粒度捕捉区域非线性运动；区域事件特征提取器（regional event feature extractor, f
re）和整体事件-帧特征提取器（holistic event-frame feature extractor, f
he）基于Swin-Transformer提取区域与整体特征并融合；INR时空解码采用时间嵌入和空间嵌入。训练用Charbonnier损失，两阶段训练，混合精度。样本来源：Adobe240、GoPro为模拟数据集，BS-ERGB、CED为真实数据集；Adobe240划分100训练/16验证/17测试，GoPro为22训练/11测试，BS-ERGB为47训练/19验证/26测试，CED用于VSR。
3.1 数据集与实现设置：采用两个模拟数据集Adobe240和GoPro，两个真实数据集BS-ERGB和CED；评价指标为峰值信噪比（Peak Signal-to-Noise Ratio, PSNR）、结构相似性（Structural Similarity, SSIM）和学习感知图像块相似度（Learned Perceptual Image Patch Similarity, LPIPS）；GoPro和Adobe仅用Y通道，BS-ERGB和CED用三通道RGB；模型用PyTorch、Adam优化器、两阶段训练、混合精度，在NVIDIA A800上实验。研究表明该设置可支持公平比较。
3.2 比较实验：研究人员将HR-INR与级联方法、固定时空视频超分辨率方法和基于帧的C-STVSR方法及事件方法比较。
3.2.1 时空超分辨率：在Adobe240和GoPro上进行联合C-STVSR比较，HR-INR在两个数据集上性能最高且模型最小；GoPro中心帧提高0.93 dB和0.0415 SSIM，平均提高2.09 dB和0.0598 SSIM；Adobe240中心帧提高0.63 dB和0.0407 SSIM，平均提高1.29 dB和0.0466 SSIM。平均帧改进更明显，表明时间稳定性更强；在16×时间上采样和6×空间上采样等极端尺度也优于其他方法。
3.2.2 基于事件的VFI与VSR单独比较：在VFI任务中，HR-INR超过TimeLens++ 1.1 dB（1-skip）和0.17 dB（3-skip），超过CBMNet 0.23 dB（1-skip），模型大小分别为TimeLens++的1/7和CBMNet的1/3；可视化中能准确预测小球、足球、马腿等运动，减少鬼影。在VSR任务中，HR-INR超过EG-VSR 1.03 dB和0.447 SSIM（4×），以及3.02 dB和0.0134 SSIM（2×）；在CED上恢复建筑文字和边缘等细节。
3.3 消融与分析研究：在Adobe240和BS-ERGB上进行。
Events Gain（事件增益）：将事件输入置零后PSNR和SSIM显著下降；加入事件使PSNR提高2.85 dB，SSIM提高0.06。
Event TPR Analysis（事件TPR分析）：TPR层数增加带来性能提升，7层时达到峰值；L从3升至7时PSNR约提高1.18；M
p增加也提升性能，但L和M
p均较高时提升趋缓；BS-ERGB上1-skip提高0.92 dB，3-skip提高1.13 dB。
Analysis of Event TPR in Visualization（事件TPR可视化分析）：区域特征强调局部短时运动，整体特征捕捉长期背景；在全局运动场景中，区域特征捕捉车辆毫秒级运动，整体特征保留静态城市结构；在局部运动场景中，整体特征编码静态背景，区域特征关注篮球快速运动。
Time Embedding Method（时间嵌入方法）：学习式时间嵌入优于正弦嵌入，能更好捕捉高频信息和曝光信息。
Temporal Dimension Impact（时间维度影响）：INR时间维度从640降至320会降低性能；升至960存在NaN不稳定风险，需要平衡维度与训练稳定性。
Analysis of Input Frames and Long-distance Modeling（输入帧与长距离建模分析）：两帧和三帧输入相比四帧分别下降0.70 dB和0.39 dB；四帧模型能利用额外时间信息建模更长运动，结果更平滑准确；即使两帧输入也优于先前工作。
Inference time analysis（推理时间分析）：34×帧插值中，HR-INR和VideoINR平均每帧时间小于100 ms，TimeLens平均187 ms；HR-INR比TimeLens快，比VideoINR稍慢。
Bad case analysis（失败案例分析）：恢复颜色信息时，模型可准确重建物体轮廓，但颜色信息可能扭曲或缺失，主要因事件流缺少颜色信息；原文认为未来彩色事件技术可解决。
讨论部分总结：消融和分析表明，事件、事件TPR、学习式时间嵌入、合适时间维度和多帧输入均对性能重要；区域与整体特征互补，可分离动态运动与静态背景，提升时间稳定性和减少伪影。
研究结论翻译：本工作提出首个事件引导连续时空视频超分辨率方法。主要贡献包括：事件时间金字塔表示用于捕捉短时动态运动；结合整体和区域特征的特征提取过程以处理运动依赖；基于INR的时空解码过程，避免传统光流并通过时空嵌入实现稳定帧插值。此外，事件数据与TPR的独特结合使方法能无缝处理快速运动和静止物体，在复杂真实场景中高效。综合实验表明，该方法在时间和空间分辨率稳定性上均优于先前方法。通过整合局部和全局运动特征，方法具有增强的适应性，克服鬼影和运动模糊等挑战。这不仅为视频超分辨率设定新基准，也为动态环境中更准确高效的事件视频处理铺平道路。未来计划扩展到去模糊等其他领域。
