《Electronics》：OpenAsset: A Pipeline for Open-World Asset Integration into Indoor Scene Synthesis
编辑推荐：
基于大型语言模型（Large Language Model, LLM）的框架（如ReSpace）推动了文本驱动的3D室内场景合成取得显著进展。然而，当前范式严重依赖于从预定义的静态3D资产库中检索对象，由于现有数据库的封闭集特性，这从根本上限制了生成场景的多样
基于大型语言模型（Large Language Model, LLM）的框架（如ReSpace）推动了文本驱动的3D室内场景合成取得显著进展。然而，当前范式严重依赖于从预定义的静态3D资产库中检索对象，由于现有数据库的封闭集特性，这从根本上限制了生成场景的多样性和个性化。相反，可提示分割（SAM 3）和单图像3D重建（SAM 3D）的最新突破使得从真实世界图像中提取高保真3D几何与纹理成为可能。本文通过提出OpenAsset，弥合了文本驱动的场景布局生成与单视图对象重建之间的鸿沟。该新颖框架将现实世界对象的单张图像转换为可重用、规范化的3D资产，并无缝集成到场景合成工作流中。具体而言，给定用户概念提示或目标区域，OpenAsset利用SAM 3进行精确实例隔离，并利用SAM 3D进行几何与纹理恢复。为确保与结构化场景表示（Structured Scene Representation, SSR）的兼容性，研究人员引入了一个自动规范化模块，用于对重建网格的尺度、方向和坐标系进行归一化。通过将“野生”视觉感知转换为标准化资产，OpenAsset有效扩展了室内场景合成的可控词汇，超越了策划数据集，为用户来源的开放3D场景生成提供了一条实用途径，该途径支持固定预定义资产库之外的自定义对象。值得注意的是，OpenAsset的满意性能关键取决于有效的分割和重建结果，这些结果构成了本方法的重要先决条件。
**论文解读：OpenAsset——面向开放世界资产集成的室内场景合成流水线**
### 研究背景与问题
文本驱动的3D室内场景合成近年来依托大型语言模型（Large Language Model, LLM）取得了显著进展，代表性框架如ReSpace能够将自然语言描述转化为合理的空间布局。然而，当前方法普遍采用检索式实例化策略，即从固定的3D资产库（如3D-FUTURE、Objaverse）中匹配对象。这类库即便规模庞大，本质仍是封闭集，无法覆盖用户提到的个性化物品、稀有类别或细致风格属性，导致系统只能提供“类别正确但实例不准确”的替代品。这种局限严重削弱了场景合成在室内设计、具身AI模拟、数字孪生等场景中的实用价值，因为用户往往期望保留自己真实物体的独特几何与外观。
近期视觉领域的突破为这一难题提供了新思路：可提示分割（SAM 3）能根据概念提示精准定位任意对象，单图像3D重建（SAM 3D）能从单张照片恢复物体几何与纹理。然而，直接将重建资产接入LLM引导的场景合成并非易事——真实照片重建的结果缺乏统一的坐标框架、一致尺度和明确朝向，并可能含有噪声或背景伪影，而结构化场景表示（Structured Scene Representation, SSR）要求资产具有标准化尺寸、姿态与空间边界，以保证稳定的摆放和编辑操作。因此，需要一座桥梁将“野生”图像资产转化为场景可用的标准化资源。
### 研究内容与意义
针对上述问题，研究人员提出了OpenAsset，一个将单图像资产重建与文本驱动室内场景合成相统一的流水线，可视为ReSpace框架的“资产无关”扩展。给定用户参考图像和概念提示，OpenAsset首先使用SAM 3从杂乱背景中分离目标对象，再用SAM 3D恢复带纹理的3D网格。关键创新在于引入自动化规范化模块，通过估计一致的对象中心坐标系、归一化尺度与朝向，使重建资产满足目标结构化场景表示的规范。由此，普通照片中的物体也能像数据库资产一样参与布局、旋转和编辑操作，实现个性化、开放词汇的3D场景生成。该工作发表于《Electronics》，其意义在于将文本驱动场景合成从封闭选物问题拓展为更实际的开放世界内容创作范式，但需注意其性能依赖分割与重建的质量。
### 关键技术方法
OpenAsset的核心技术包括：（1）开放词汇分割（SAM 3），根据概念提示实现实例级掩码提取；（2）单图像3D重建（SAM 3D），恢复对象的几何与纹理；（3）自动化资产规范化，包含重力感知方向校正（利用RANSAC拟合底部平面估计支撑面法线，结合LLM语义先验确定前方方向）和类别级尺度恢复与接地（从语义知识库获取平均高度先验，统一尺度并接地到原点）；（4）基于LLM的SSR布局推理，将规范化资产与数据库资产统一纳入布局规划。评估数据来源包括3D-FRONT数据集构建的Scene-Prompt数据集，以及自采集的1000对文本-图像样本（900张互联网图像、100张真实环境照片）。
### 研究结果
#### 开放词汇分割
为评估对象提取阶段，研究对比了CLIPSeg、SEEM、Grounded-SAM与SAM 3在文本条件下的分割性能。结果显示，SAM 3在所有指标上最优，mIoU达到0.86，Dice达0.92，BFScore达0.84，尤其边界精度提升显著，有利于后续几何重建。
#### 3D重建与规范化
在固定分割输入（SAM 3掩码）的条件下，比较SAM3D与TripoSR、InstantMesh、SF3D。SAM3D取得了最低的Chamfer Distance（CD）0.48、最高3D F-score 0.87和Normal Consistency 0.94，表明其恢复的几何更忠实、表面更平滑。对规范化模块的消融显示，完整的规范化流程能将角度误差和尺度误差显著降低，布局成功率大幅提升，证明规范化是将重建网格转化为可布局资产不可或缺的步骤。
#### 个性化场景编辑与合成
在3D-FRONT闭集测试集上，OpenAsset在所有评估指标上均优于ReSpace。以all split为例，FID从44.85降至43.21，FID
CLIP从2.43降至2.20，KID从2.44降至1.96，OOB从160.2降至142.5，MBL从181.6降至139.8，VBL从341.8降至298.4。这表明引入个性化资产建模不仅未削弱闭集生成能力，反而带来了一致提升。
#### 开放集评估
在1000个目标对象不在资产库中的测试案例中，OpenAsset相比ReSpace展现出本质优势：角度误差与尺度误差均大幅下降（尺度误差从23.2%降至9.8%），布局成功率从52.5%提升至84.2%。这验证了从任意文本-图像对中提取3D资产并完成场景布局的可行性。
#### 消融研究
通过对比原始输出、无重力对齐、无语义缩放及完整模型的性能，发现二者相互补充：仅对齐重力不缩放尺度，布局成功率仍受限制；仅语义缩放不校正方向，角度误差依旧偏高。只有联合执行重力感知方向校正与类别级语义缩放，才能达到最佳角度误差、尺度误差和84.2%的布局成功率。
### 总结与结论
讨论部分指出，OpenAsset保持了ReSpace的可控性与可编辑性，同时扩展了对个性化、未见对象的处理能力。其局限性在于，最终场景质量仍依赖于单图像分割和重建的鲁棒性，复杂几何或严重遮挡可能影响资产质量。研究结论总结如下：本文提出了OpenAsset，将概念提示分割、单图像3D重建与资产规范化集成到LLM引导的场景合成流程中，解决了传统检索法的封闭集限制。通过规范化模块，重建资产被转换为方向、尺度、对齐一致的场景就绪表示，兼容结构化场景表示与后续布局操作。实验证明，OpenAsset在开放词汇分割和单图像重建上表现优异，规范化策略显著提升资产可用性；闭集性能保持竞争性，开放集场景则明显优于检索基线。未来工作将引入多视角线索，提升困难对象的重建鲁棒性，并加强与语言场景规划的交互。作者认为OpenAsset为更灵活、真实、以用户为中心的3D内容创作迈出了实用的一步。
