结合主动学习的渐进式体积蒸馏方法,用于高效实现NeRF架构转换

《INTERNATIONAL JOURNAL OF COMPUTER VISION》:Progressive Volume Distillation with Active Learning for Efficient NeRF Architecture Conversion

【字体: 大 中 小 】 时间:2026年04月15日 来源:INTERNATIONAL JOURNAL OF COMPUTER VISION 9.3

编辑推荐:

  渐进式体蒸馏与主动学习结合的方法,实现NeRF架构间的任意转换,通过分层分解和正向蒸馏提升模型效率,主动学习机制增强知识迁移效果,实验表明可10-20倍加速训练并提升PSNR 0.8-2dB,同时支持3D高斯溅射等异构模型融合。

  

摘要

神经辐射场(NeRF)已被广泛用作3D场景的实用且通用的表示方法。然而,诸如普通的MLP、张量、低秩张量和哈希表之类的架构各自都存在不同的权衡,这使得单一模型难以满足多种任务需求。例如,哈希表渲染速度快,但缺乏明确的几何意义,从而使得基于空间关系的编辑变得复杂。为了克服这些限制并最大化每种架构的潜力,我们提出了基于主动学习的渐进式体积蒸馏(PVD-AL)方法,这是一种系统化的蒸馏方法,可以实现不同架构之间的任意转换,将这些架构之间的关系从竞争转变为协作。PVD-AL将每种架构分解为两部分,并从较浅的体积表示逐步进行蒸馏,利用从渲染过程中获取的有效信息。此外,三级主动学习技术提供了教师对学生之间的持续反馈,从而实现了高性能的结果。实验证据表明,我们的方法在各种基准测试中都表现出有效性。例如,PVD-AL将基于MLP的模型从基于哈希表的模型中蒸馏出来的速度提高了10倍到20倍,信噪比(PSNR)提高了0.8dB到2dB,比从零开始训练基于MLP的模型更快。此外,PVD-AL允许在不同架构之间融合多样化的特征,使模型具有更强的编辑能力和更好的硬件适应性。PVD-AL还表现出广泛的适应性和可持续的进化能力,促进了NeRF与3D高斯散射(3DGS)之间的高效转换,实验结果证实了其显著的性能优势。

神经辐射场(NeRF)已被广泛用作3D场景的实用且通用的表示方法。然而,诸如普通的MLP、张量、低秩张量和哈希表之类的架构各自都存在不同的权衡,这使得单一模型难以满足多种任务需求。例如,哈希表渲染速度快,但缺乏明确的几何意义,从而使得基于空间关系的编辑变得复杂。为了克服这些限制并最大化每种架构的潜力,我们提出了基于主动学习的渐进式体积蒸馏(PVD-AL)方法,这是一种系统化的蒸馏方法,可以实现不同架构之间的任意转换,将这些架构之间的关系从竞争转变为协作。PVD-AL将每种架构分解为两部分,并从较浅的体积表示逐步进行蒸馏,利用从渲染过程中获取的有效信息。此外,三级主动学习技术提供了教师对学生之间的持续反馈,从而实现了高性能的结果。实验证据表明,我们的方法在各种基准测试中都表现出有效性。例如,PVD-AL将基于MLP的模型从基于哈希表的模型中蒸馏出来的速度提高了10倍到20倍,信噪比(PSNR)提高了0.8dB到2dB,比从零开始训练基于MLP的模型更快。此外,PVD-AL允许在不同架构之间融合多样化的特征,使模型具有更强的编辑能力和更好的硬件适应性。PVD-AL还表现出广泛的适应性和可持续的进化能力,促进了NeRF与3D高斯散射(3DGS)之间的高效转换,实验结果证实了其显著的性能优势。

相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号