一种面向AI加速器神经渲染的灵活融合实现光栅化引擎

《Science China-Information Sciences》：A fusion flexible implementation rasterization engine for neural rendering on AI accelerators

　　随着人工智能（AI）技术的快速发展，渲染范式已从传统的基于网格的局部光照技术转变为支持全局光照的神经表示方法。然而，传统的基于网格的渲染流水线并不适合这一新兴范式的需求，往往无法提供现代渲染方法所需的适应性和表现力。因此，软件和硬件组件的协同优化对于适应这些不断演变的需求至关重要。为应对这些挑战，我们聚焦于一种将3D高斯与网格表示相融合的架构，并提出了一种名为F2IRE（融合灵活光栅化引擎）的通用光栅化引擎，该引擎通过软硬件协同设计方法开发而成，可显著提升全局渲染性能。F2IRE是一个全新的全局光照神经渲染流水线的核心，有效地融合了传统网格表示与3D高斯泼溅（3D-GS）技术。实验结果表明，在基于网格的渲染场景中，F2IRE能有效平衡光栅化引擎与神经网络组件之间的计算负载，实现高像素插值率。在3D-GS任务中，基于F2IRE的流水线在各种图形处理单元（GPU）平台上实现了21%至39%的每秒帧数（FPS）提升。此外，在所提出的高斯-网格融合流水线中，它在非神经网络组件方面还带来了额外的6%至12%的性能增益。重要的是，F2IRE仅引入了约2%的硬件开销，确保神经渲染工作负载能够高效映射到AI加速器上。这一效率使F2IRE成为传统图形渲染与AI驱动技术融合领域的一项重要技术突破。