面向边缘部署的虚拟现实艺术治疗系统的轻量级深度学习渲染框架

《Scientific Reports》：Lightweight deep learning rendering framework for edge-deployed virtual reality art therapy systems

　　

摘要

具有情感表达力的视觉内容的实时神经渲染对于虚拟现实艺术治疗至关重要，然而，由于严格的延迟、功耗和内存限制，将此类模型部署在资源受限的边缘设备上仍然是一个未解决的工程挑战。本文提出了一种专为边缘部署的虚拟现实艺术治疗系统量身定制的轻量级深度学习渲染框架，定位为系统级协同设计，而非新的算法组件。该框架由三个相互依赖的模块组成。首先，一种混合模型压缩策略在单一联合损失下将通道剪枝与知识蒸馏相结合，并额外引入一个因子，利用治疗内容显著性图对剪枝重要性得分进行加权，从而保护支持治疗显著区域的通道。其次，一种感知治疗内容的自适应渲染质量控制器通过语义显著性预测分配计算资源（当前原型未使用运行时眼动追踪器）。第三，一种三阶段流水线推理架构在异构边缘处理单元上重叠预处理、神经前向传播和后处理，并包含从流水线监视器回到显著性阈值的反馈循环。在三个边缘平台和五个复杂度各异的艺术治疗场景上的实验表明，该框架在 Jetson Orin NX 上实现了每帧 7.1 毫秒的吞吐延迟，轻松满足 90 Hz 渲染每帧 11.1 毫秒的预算，同时保留了未压缩教师模型 94.3% 的结构相似性。客观感知指标（VMAF、FLIP、DISTS）以及在双盲协议下从三十名评分者（十五名计算机图形学研究者和十五名具有临床或艺术治疗培训背景的人员）收集的主观平均意见分证实，色彩保真度和时间相干性得到了保持。结果涉及工程可行性而非临床疗效；治疗益处是假设性的，并未得到证实，需要超出本文范围的基于患者的试验。