MaterialSeg3D++:基于2D先验的3D资产生成大规模材质预测

《Electronics》:MaterialSeg3D++: Large-Scale Material Prediction for 3D Assets from 2D Priors

【字体: 大 中 小 】 时间:2026年08月29日 来源:Electronics 2.9

编辑推荐:

  近期图像扩散模型已支持从文本或图像引导自动创建3D物体,但其2D生成先验常常将光照和阴影烘焙到纹理中,使得重新光照和基于物理的渲染(PBR)变得困难。针对这一问题,研究人员提出MaterialSeg3D,一种通过利用2D材质语义来预测3D资产表面材质的框架。给

  
近期图像扩散模型已支持从文本或图像引导自动创建3D物体,但其2D生成先验常常将光照和阴影烘焙到纹理中,使得重新光照和基于物理的渲染(PBR)变得困难。针对这一问题,研究人员提出MaterialSeg3D,一种通过利用2D材质语义来预测3D资产表面材质的框架。给定网格及其反照率UV图,MaterialSeg3D渲染多视图图像,使用2D先验模型进行材质分割,将预测结果投影回UV空间,并通过加权投票和区域统一进行融合,以获得连贯的材质图。为训练先验模型,研究人员构建了MIO++,一个大规模单物体材质分割数据集,包含115,542张图像、12个物体主题和30个细粒度材质类别,大幅扩展了之前的MIO数据集。每个MIO++材质类别关联独立的粗糙度和金属度值对,用于PBR赋值。研究人员进一步观察到,AI生成资产中较差的拓扑结构即使分配了合理的材质也会降低PBR质量,并引入平面简化策略作为此类网格的辅助预处理步骤。实验表明,MIO++提升了材质分割性能,且生成的材质图能支持人工创建和AI生成的3D资产获得更一致的、可重新光照的渲染结果。
# MaterialSeg3D++:基于2D先验的大规模3D资产材质预测研究解读

## 1. 研究背景与问题

3D资产生成是计算机图形学的重要研究领域,广泛应用于虚拟现实、增强现实、游戏和电影制作。基于物理的渲染(PBR)通过模拟光线与表面属性(如粗糙度和金属度)的交互,是实现视觉效果真实感和跨环境兼容性的关键。然而,在传统生产流程中,创建满足PBR要求的资产高度依赖人工劳动,艺术家不仅需要构建几何与纹理,还需定义在不同光照下表现一致的材质属性。近年来,扩散模型的发展推动了大量3D资产生成方法,这些方法利用2D生成先验从文本或图像生成3D物体,但生成结果常将光照和阴影烘焙进纹理,导致RGB纹理无法提供解耦的材质表示。缺乏显式PBR材质信息时,新场景下的重新光照十分困难。直接学习PBR材质生成受限于数据可用性:现有3D资产大多只提供几何和外观纹理,缺少完整的粗糙度与金属度贴图,且UV空间材质的密集标注成本高昂。因此,研究者提出将材质推理转移到支持更好的2D感知空间,再投影回3D资产。

## 2. 研究目标与方法概述

本研究的核心贡献包括三方面:构建大规模单物体材质分割数据集MIO++;提出MaterialSeg3D多视图材质预测工作流;分析AI生成资产的拓扑问题并引入平面简化预处理。论文发表在《Electronics》。研究者首先在2D空间进行材质语义分割,再利用多视图几何将预测结果投影至UV空间融合,最终生成PBR材质贴图。整个方法建立在迪士尼原则双向反射分布函数(BRDF)基础上,以粗糙度和金属度作为主要物理材质属性。针对数据集缺陷,研究者将原有MIO数据集扩展为MIO++,包含115,542张图像、12个物体主题和30个细粒度材质类别,每个类别都关联独立的粗糙度和金属度值。

## 3. 主要关键技术方法

研究使用了以下关键技术:(1)基于改进ViT骨干的材质分割网络,采用SAM-B预训练分割权重和UPerNet解码头,结合类平衡采样和交叉熵损失;(2)多视图渲染策略,在全方位角范围布置相机,包含5个高价值视角和12个方位角下各3个俯仰角视角;(3)加权投票与区域统一的UV融合方法,高价值视角权重为2,其他为1,并通过形态学腐蚀和连通域分析抑制局部标签波动;(4)平面简化预处理,利用2D表面法线估计、K-means聚类和RANSAC剔除异常值,引导网格简化。数据来源包括公共数据集、3D资产渲染和人工设计资产。

## 4. 研究结果

### 4.1 数据集构建与统计
MIO++将原MIO数据集的23,062张图像扩展至115,542张,物体主题从5个增加至12个,材质类别从14个细化为30个。新类别将金属细分为光滑金属、哑光金属和生锈金属,并新增玉、石膏等类别。每个MIO++类别都分配了独立的粗糙度和金属度参数,由经验丰富的3D资产建模师基于超过1000个材质预设确定。

### 4.2 2D材质分割性能
在MIO验证标签空间上比较了五种常用分割骨干,所提模型在MIO上取得最佳mIoU。将MIO++训练的模型映射回原14类进行后向兼容评估,mIoU从83.92%提升至86.75%。逐类结果显示,视觉差异细微的细粒度子类(如光滑/哑光/生锈金属)以及样本支持较少的材质-主题组合容易出现较低IoU,这与数据的长尾分布一致。

### 4.3 3D材质生成效果
定性比较覆盖了三种场景:完整的单图转3D生成、给定网格上的纹理/材质生成、以及人工创建的公共3D资产。与Wonder3D、TripoSR、OpenLRM、Fantasia3D、Text2Tex和在线Meshy等方法相比,MaterialSeg3D生成的材质在重新光照下表现出更合理的反射行为。定量评估在20个Objaverse-1.0资产上进行,在相同网格和反照率条件下,加入MaterialSeg3D预测的PBR材质相比基线在CLIP相似度、PSNR和SSIM指标上均有所提升。

### 4.4 加权投票与区域统一的作用
附录的可视化表明,单个困难视角中的误分类区域能在其他视角的一致观察下被纠正。投票后的局部子类波动通过区域统一被有效抑制,最终获得连贯的材质标签图。

## 5. 讨论与结论

讨论部分指出当前方法存在若干局限:离散材质类别和代表值无法表达连续类内变化和高频空间细节;定量实验侧重渲染外观而非直接的粗糙度/金属度逐像素误差;相机配置、投票权重等固定参数未进行全因子消融;平面简化仅获定性支持;AI生成纹理中的烘焙光照导致反照率与光照分离存在固有歧义。研究结论认为,将3D资产材质赋值建模为2D视图中的材质预测加UV空间融合是有效的,MIO++数据集显著提升了分割性能,生成的材质图在几何和反照率可用时能改善可重新光照外观。未来工作可探索连续空间材质预测、系统敏感性分析以及针对标准化PBR真值的直接评估。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号