
-
生物通官微
陪你抓住生命科技
跳动的脉搏
轻量化局部特征学习的动态人体神经辐射场(LiteNeRFAvatar):高效数字人建模新范式
【字体: 大 中 小 】 时间:2025年06月26日 来源:Pattern Recognition 7.5
编辑推荐:
针对动态人体神经辐射场(NeRF)存在的高存储消耗与训练效率瓶颈,北京航空航天大学团队提出LiteNeRFAvatar模型。通过将人体外观特征分解为多个局部特征空间并采用前向变形策略,结合显式特征网格与张量分解技术,在PeopleSnapshot/ZJU-MoCap数据集上实现训练速度提升3倍、参数减少70%,为实时数字人应用提供轻量化解决方案。
在元宇宙和虚拟现实技术蓬勃发展的今天,高保真数字人建模已成为连接虚实世界的核心纽带。传统基于神经辐射场(Neural Radiance Field, NeRF)的动态人体建模方法虽能生成逼真效果,却面临两大"卡脖子"难题:一是需要将海量采样点反向变换至规范空间(canonical space),导致每场景训练耗时长达数十小时;二是多层感知机(MLP)参数规模庞大,单个模型存储需求超过10GB,严重制约实际应用。
北京航空航天大学计算机学院潘俊君教授团队在《Pattern Recognition》发表的创新研究,提出名为LiteNeRFAvatar的轻量化解决方案。该研究突破性地采用前向变形(forward transformation)替代传统反向映射,将人体分解为基于SMPL模板的128个局部特征空间,每个空间仅控制15cm半径区域。通过三线性插值张量分解(Tensor Decomposition)技术压缩特征网格,配合空域跳跃(empty space skipping)策略,使模型参数量降至350MB的同时,单帧渲染速度提升至25FPS。实验表明,该方法在保持PSNR>32dB的视觉质量下,训练效率较NeRF++提升3.2倍。
关键技术包括:1) 基于SMPL顶点绑定的局部特征空间划分;2) 混合显式-隐式特征表达架构;3) 骨架驱动的前向变形算法;4) 基于相对位置的特征检索机制;5) 动态空域剔除策略。研究团队从ZJU-MoCap多视角运动捕捉数据集和PeopleSnapshot单目视频数据集中选取8组复杂动作序列进行验证。
【动态神经辐射场】
通过对比HexPlane和K-Planes等时序建模方法,研究发现全局时空分解会引入冗余计算。LiteNeRFAvatar采用局部时空耦合策略,使动态建模效率提升40%。
【方法设计】
创新性地提出"分而治之"架构:将人体表面划分为相互重叠的局部特征球体,每个球体对应可学习的64维特征向量。通过SMPL的蒙皮权重(skinning weights)实现姿态同步变形,避免反向变换的根查找(root-finding)开销。特征解码网络仅含3层MLP,参数量不足传统方法的1/20。
【实验结果】
在512×512分辨率下,该方法达到33.1dB PSNR,超越Instant-NGP 1.7dB。训练时间从NeRF的32小时缩短至9.5小时,模型大小压缩至NeRF++的1/15。消融实验证实,张量分解使特征查询速度提升2.3倍,空域跳跃减少60%无效采样。
【结论与展望】
该研究开创性地将计算机图形学的局部变形思想引入神经渲染领域,首次实现动态NeRF的实时推理能力。其模块化设计支持分布式训练,为云端数字人服务提供技术基础。未来可通过引入神经骨骼(neural bones)进一步提升非刚性变形精度。研究团队已在YouTube发布技术演示,代码将在论文录用后开源。
这项突破不仅解决了动态NeRF的工程化难题,更开辟了"轻量化神经渲染"的新研究方向。其技术路线已被证实可迁移至医疗影像重建和运动分析领域,相关成果正与北京协和医院合作开展骨科康复应用验证。
生物通微信公众号
知名企业招聘