WinGS：用于长序列多视图手部交互重建的窗口化高斯投射技术

《Computer Vision and Image Understanding》：WinGS: Windowed Gaussian Splatting for long-sequence multi-view hand interaction reconstruction

　　• 一种用于长序列4D高斯斑点渲染的滑动窗口训练策略。• 一个包含分钟级序列的多视角手部交互数据集。• 时间重叠约束提高了重建的一致性。• 该方法减少了长动态序列的内存使用量。• 实验表明，在长多视角场景中，该方法能够提升重建质量。

引言
随着深度学习的迅速发展以及计算机视觉技术的日益成熟（Simonyan和Zisserman，2014年；He等人，2016年；Vaswani等人，2017年；Carion等人，2020年；Dosovitskiy，2020年；J. Liu等人，2024年；Peng等人，2019a；Bu等人，2021年；Peng等人，2019b；Peng等人，2023年；Chang等人，2022年；Peng等人，2018年），针对从未见相机获取的逼真视图渲染的新型视图合成（NVS）已成为3D视觉领域的一个核心问题。最近的进展显著推动了该技术的发展：NeRF能够生成高质量的静态图像（Mildenhall等人，2021年）；动态NeRF变体将NeRF的应用扩展到了具有强图像质量的时变场景，尽管渲染速度仍然相对较慢（Pumarola等人，2021年；Park等人，2021b）；高斯斑点渲染（GS）随后引入了一种基于点的、适合光栅化的表示方法，使得实时渲染和优化速度更快，同时在短动态片段上也能保持高质量（Kerbl等人，2023年；Liu等人，2024年；Y. Liu等人，2024年；Li等人，2024b；Wu等人，2024年；Cho等人，2024年；Malarz等人，2025年；Schieber等人，2024年）。尽管这些方法在处理短片段时表现出色，但大多数现有的基于GS的4D重建方法依赖于全局变形场或统一的时间表示。这种公式在处理长时间序列时变得难以优化，常常导致累积漂移、时间不一致性和内存开销增加。然而，许多实际应用——如视频教程、体育回放和AR/VR应用——需要分钟级的序列而不是简短的片段。一个主要限制是缺乏公开的多视角、分钟级视频数据集。所有现有的动态NVS数据集都存在某些局限性：DyNeRF每个场景只包含几十到几百帧（Li等人，2021年）；Neural 3D Video（N3D）同样提供短片段（T. Li等人，2022年）；Technicolor光场视频增加了许多视角，但仅覆盖几秒钟（Sabater等人，2017年）；HyperNeRF中使用的捕获数据视图较少，限制了跨视图监督（Park等人，2021b）。这些限制阻碍了对长序列重建的探索和公平评估。为了解决这一差距，我们提出了HIMORe（手部交互运动重建），一个包含六个以手为中心的手动场景的公开多视角4D数据集，并为长序列提供了一个专门的基线。HIMORe使用24个同步摄像机（1080p分辨率，60 FPS）进行拍摄，每个序列持续5-12分钟（每个摄像机约20k-40k帧）；示例包括剥水果、堆叠积木和打开礼品盒等动作。对于长序列重建，我们提出了WinGS（窗口化高斯斑点渲染）。与当前尝试将单一全局模型适配到整个时间线的4D GS框架不同，WinGS通过在重叠的时间窗口上训练单独的GS模型，并通过轻量级的光度一致性损失融合相邻窗口来有效地进行重建（Shaw等人，2024年）。通过从单一全局优化转变为可扩展的滑动窗口方案，WinGS减轻了长序列中常见的模糊、漂移和细节损失问题。这一优势在图1(a)中得到了体现，该图显示WinGS在HIMORe上的重建效果比4DGS（Wu等人，2024年）更清晰、更一致，而图1(b)展示了WinGS的流程。

我们的主要贡献包括：
- HIMoRe基准：第一个整合了分钟级记录、24个同步摄像机和六个具有挑战性的手动场景的公开基准，使得对长格式NVS的评估更加严格。
- 窗口化高斯斑点渲染（WinGS）：一种有效的基线方法，通过滑动窗口方案将现有的GS模型扩展到分钟级视频，并实现轻量级的跨窗口一致性。
- 全面评估：我们在HIMORe和公开基准上评估了现有的动态GS模型，通过定量和定性结果突出了长序列重建的挑战。WinGS在HIMORe上的PSNR提高了0.76 dB，同时在N3D和SelfCap上保持了有竞争力的性能和紧凑的存储需求。

### 技术背景
#### 基于NeRF的动态场景渲染
Neural Radiance Fields（NeRF）（Mildenhall等人，2021年）首次实现了静态场景的高保真新视图合成，该方法利用多层感知器（MLPs）表示场景为连续的体积辐射场。将NeRF扩展到动态场景具有挑战性，因为模型还必须考虑非刚性运动和偶尔的拓扑变化。早期变体——D-NeRF（Pumarola等人，2021年）和Nerfies（Park等人，2021a）——添加了时间戳或潜在变量。

### 动态场景重建的挑战
动态场景重建仍然受到缺乏多视角、时间同步且持续时间为分钟级别的数据集的限制。大多数公开基准仅满足这些要求中的一部分。例如，D-NeRF（Pumarola等人，2021年）和HyperNeRF（Park等人，2021b）仅包含来自一两个视角的几百帧；NeRF-DS（Yan等人，2023年）专注于镜面物体，但仅覆盖几秒钟；而大规模的HOI4D（Liu等人，2022年）则包含简短的序列。

#### 初步分析
一种直接的方法是使用静态高斯斑点渲染（GS）独立重建每一帧。直观地说，由于静态GS在建模单帧方面表现优秀，人们可能期望将其逐帧应用到动态序列中。然而，这种方法效率极低：训练数千个独立的GS模型既缓慢又耗资巨大。这种低效率激发了许多动态GS方法的开发。

### 我们的工作
我们在3D高斯斑点渲染（3DGS）（Kerbl等人，2023年）的基础上进行了改进，该方法将静态场景表示为一组具有均值μi∈R3和协方差Σi∈R3×3的各向异性高斯Gi。每个高斯在X点的密度为Gi(X)=exp(?1/2(X?μi)?Σi?1(X?μi))。为了优化，Σi被分解为尺度Si=diag(si)和旋转Ri：Σi=RiSi2Ri?。在相机变换W的作用下，每个高斯投影到一个具有协方差Σi′=JWΣiW?J?的椭圆上。像素通过alpha值累积来自所有高斯的贡献。

### 实验
本节介绍了我们的实验设置（第6.1节）和数据集/指标（第6.2节），随后是与最先进（SOTA）动态视图合成方法的比较（第6.3节）和消融研究（第6.4节）。我们在第6.5节进行了简要讨论。为了避免重复第4节（试点研究）中已经讨论的内容，这里不再重复。

### 结论
我们提出了HIMORe，一个用于分钟级手部-物体操作的多视角4D数据集。由于24个校准的视角、长时间的记录、频繁的自遮挡和非刚性物体变化，HIMORe为评估长序列动态新视图合成提供了一个具有挑战性的基准。我们还引入了WinGS，这是一种简单的基于窗口的高斯斑点渲染基线，它将长视频分解为重叠的时间段，并实施了轻量级的跨窗口一致性。

### 作者贡献声明
郭浩天：撰写——原始草稿，验证，软件，方法论，调查，形式分析，数据整理。
张倩丽：项目管理，资金获取，数据整理。
王丁斌：撰写——原始草稿，数据整理。
周江湾：撰写——审核与编辑。
魏振阳：项目管理，数据整理。
朱子伟：撰写——审核与编辑。
明月：撰写——审核与编辑，监督，资源提供。

### 手稿准备过程中生成式AI和AI辅助技术的声明
在准备这项工作时，作者使用了OpenAI的ChatGPT来提高英语写作的清晰度和流畅性。使用该工具后，作者根据需要审查和编辑了内容，并对发表文章的内容负全责。

### 未引用的参考文献
Fridovich-Keil等人（2022年），Hu等人（2025年），Wan等人（2024年）

### 利益冲突声明
作者声明他们没有已知的利益冲突或个人关系可能影响本文报告的工作。

### 致谢
本文的工作部分得到了北京市自然科学基金（资助编号L241011）、中国国家自然科学基金（资助编号92467105）、国家电网公司总部项目（资助编号5700-202458331 A-2-1-ZX）以及北京大学口腔医学院2025年教育研究项目（2025-FY-06）的支持。

### 作者名单
郭浩天 | 张倩丽 | 王丁斌 | 周江湾 | 魏振阳 | 朱子伟 | 明月