
-
生物通官微
陪你抓住生命科技
跳动的脉搏
结合主动学习的渐进式体积蒸馏方法,用于高效实现NeRF架构转换
《INTERNATIONAL JOURNAL OF COMPUTER VISION》:Progressive Volume Distillation with Active Learning for Efficient NeRF Architecture Conversion
【字体: 大 中 小 】 时间:2026年04月15日 来源:INTERNATIONAL JOURNAL OF COMPUTER VISION 9.3
编辑推荐:
渐进式体蒸馏与主动学习结合的方法,实现NeRF架构间的任意转换,通过分层分解和正向蒸馏提升模型效率,主动学习机制增强知识迁移效果,实验表明可10-20倍加速训练并提升PSNR 0.8-2dB,同时支持3D高斯溅射等异构模型融合。
神经辐射场(NeRF)已被广泛用作3D场景的实用且通用的表示方法。然而,诸如普通的MLP、张量、低秩张量和哈希表之类的架构各自都存在不同的权衡,这使得单一模型难以满足多种任务需求。例如,哈希表渲染速度快,但缺乏明确的几何意义,从而使得基于空间关系的编辑变得复杂。为了克服这些限制并最大化每种架构的潜力,我们提出了基于主动学习的渐进式体积蒸馏(PVD-AL)方法,这是一种系统化的蒸馏方法,可以实现不同架构之间的任意转换,将这些架构之间的关系从竞争转变为协作。PVD-AL将每种架构分解为两部分,并从较浅的体积表示逐步进行蒸馏,利用从渲染过程中获取的有效信息。此外,三级主动学习技术提供了教师对学生之间的持续反馈,从而实现了高性能的结果。实验证据表明,我们的方法在各种基准测试中都表现出有效性。例如,PVD-AL将基于MLP的模型从基于哈希表的模型中蒸馏出来的速度提高了10倍到20倍,信噪比(PSNR)提高了0.8dB到2dB,比从零开始训练基于MLP的模型更快。此外,PVD-AL允许在不同架构之间融合多样化的特征,使模型具有更强的编辑能力和更好的硬件适应性。PVD-AL还表现出广泛的适应性和可持续的进化能力,促进了NeRF与3D高斯散射(3DGS)之间的高效转换,实验结果证实了其显著的性能优势。
神经辐射场(NeRF)已被广泛用作3D场景的实用且通用的表示方法。然而,诸如普通的MLP、张量、低秩张量和哈希表之类的架构各自都存在不同的权衡,这使得单一模型难以满足多种任务需求。例如,哈希表渲染速度快,但缺乏明确的几何意义,从而使得基于空间关系的编辑变得复杂。为了克服这些限制并最大化每种架构的潜力,我们提出了基于主动学习的渐进式体积蒸馏(PVD-AL)方法,这是一种系统化的蒸馏方法,可以实现不同架构之间的任意转换,将这些架构之间的关系从竞争转变为协作。PVD-AL将每种架构分解为两部分,并从较浅的体积表示逐步进行蒸馏,利用从渲染过程中获取的有效信息。此外,三级主动学习技术提供了教师对学生之间的持续反馈,从而实现了高性能的结果。实验证据表明,我们的方法在各种基准测试中都表现出有效性。例如,PVD-AL将基于MLP的模型从基于哈希表的模型中蒸馏出来的速度提高了10倍到20倍,信噪比(PSNR)提高了0.8dB到2dB,比从零开始训练基于MLP的模型更快。此外,PVD-AL允许在不同架构之间融合多样化的特征,使模型具有更强的编辑能力和更好的硬件适应性。PVD-AL还表现出广泛的适应性和可持续的进化能力,促进了NeRF与3D高斯散射(3DGS)之间的高效转换,实验结果证实了其显著的性能优势。