ArchiClip：学习三维建筑自由曲面的文本-几何联合表征

《Computer-Aided Design》：ArchiClip: Learning joint text–geometry representations for 3D architectural freeform surfaces

　　

研究人员构建了ArchiShape，这是首个包含超过25万个自由形态建筑表面的大规模数据集，并配有自动生成的领域特定文本标注。研究人员提出了ArchiClip，一种通过对比对齐学习文本与几何联合表征的三维中心框架。该框架建立了一个面向建筑自由曲面的双模态嵌入空间，使得跨模态三维检索和设计探索能够超越纯几何相似性。

**论文解读：ArchiClip——面向建筑自由曲面的文本-几何联合表征学习**

**一、研究背景与问题**

近年来，基于对比学习（contrastive learning）的多模态联合表征方法，如ULIP，已被用于对齐三维形状嵌入与图像、文本等模态，从而实现零样本分类与检索。然而，这些模型的泛化能力受限于训练数据的规模与多样性，尤其缺乏面向垂直领域（如建筑设计）的专用数据集。现有三维数据集多集中于日常物体（如家具），建筑自由曲面（freeform surfaces）因其不规则、曲率连续变化的几何特性，在现有基础模型中未得到充分支持。建筑自由曲面是当代建筑的重要特征，从连续混凝土壳体到网格壳结构均广泛应用，但其数据集规模极小，且缺乏领域内的文本标注。此外，通用三维基础模型在处理建筑自由曲面时存在两大挑战：其一，数据与标注严重不足，限制了可扩展的准确形状表征学习；其二，缺乏能够编码曲率、空间占用、边界形状、开口等细粒度几何属性的表征策略。为此，研究人员开展了本研究，旨在构建大规模建筑自由曲面数据集，并设计一种三维中心的表征学习方法，以支持文本与几何之间的跨模态对齐。

**二、研究内容与结论**

本研究提出了ArchiClip框架，并构建了ArchiShape数据集。ArchiShape包含258116个程序化生成的自由曲面网格壳，每个模型均自动生成符合建筑设计语汇的文本描述。ArchiClip采用多模态对比学习框架，通过一个自定义三维编码器与冻结的CLIP文本编码器，将单域嵌入映射到联合嵌入空间，实现文本与三维形状的对齐。实验表明，ArchiClip在跨模态三维检索任务中显著优于通用三维基础模型ULIP-2，并能够有效处理文本查询和示例查询，编码领域特定的几何与空间线索。

**三、关键技术方法**

研究人员采用了两阶段流程。第一阶段，通过Grasshopper节点编程程序化生成自由曲面，计算几何描述符（如跨度、升度、开口数量、曲率类型、峰值数）并存储为JSON字典，再利用预训练大语言模型（LLM）Mixtral将其转换为自然语言描述，生成多样化且几何忠实度高的文本标注。第二阶段，训练一个基于PointNet架构的三维自编码器，采用边界感知采样策略和边界/内部分离的Chamfer距离损失，以学习三维形状的潜在表征；随后通过InfoNCE损失进行对比对齐，使用批量采样策略确保每个批量内正负样本的有效性。样本来源为ArchiShape数据集，未涉及真实世界数据。

**四、研究结果**

*（一）文本标注质量对比*
研究人员将ArchiShape生成的标注与Cap3D和GPT-5.1（原文如此）生成的标注进行对比。结果表明，通用三维描述模型Cap3D倾向将抽象自由曲面解释为日常物体，而直接提示LLM描述三维模型时易产生幻觉性几何属性。ArchiShape的两阶段标注方法通过显式注入领域几何描述符，获得了更高准确性和可解释性。

*（二）三维形状编码结果*
自编码器在训练集和验证集上的总Chamber距离分别为0.22987和0.23489，显著优于PointNet++和ULIP-2。潜在空间的线性插值生成平滑的中间形状，表明潜在空间具有连续性和表达性。t-SNE可视化显示，潜在空间中邻近的形状在描述符（如升度、开口数）上具有一致性。

*（三）联合嵌入空间评估*
通过t-SNE投影和余弦相似度比较，联合嵌入空间不仅改善了形状与文本的匹配，还增强了每个模态内部的结构聚类。对齐过程通过对称对齐而非单纯投影，使CLIP文本表征融入了细粒度的几何信息。

*（四）跨模态三维检索*
在文本到形状和形状到形状的检索任务中，ArchiClip在验证集上达到0.7370的平均精度均值（mAP），而ULIP-2仅为0.0390。定性示例显示，ArchiClip能够处理人类撰写的、未在训练集中出现的文本查询，并检索出具有指定几何特征（如尺度、曲率）的相关形状。此外，基于两个查询形状的联合检索可返回兼具两者几何元素的形状。

*（五）失败案例分析*
检索失败主要集中于计数型描述符（如开口数、峰值数）的区分。描述符精度统计显示，跨度和开口形状的保留最可靠，升度、曲率和峰值数相对易出错。高峰值数和三开口形状检索难度较大。部分失败源于文本中模糊的量词表述（如“有限数量的峰值”），导致模型将其误解为零峰值。

**五、讨论与结论**

研究人员引入了ArchiShape数据集和ArchiClip方法，该框架完全以三维为中心，通过边界感知采样和分离损失保留建筑自由曲面的开放边界信息。轻量级自编码器在较低计算开销下捕获了全局与局部几何结构。对比对齐在保持预训练编码器冻结的同时，通过对称投影头建立了稳健的跨模态对应关系，且未使某一模态特征坍缩。跨模态检索实验证明了该方法的实用性，但训练与验证mAP差距揭示了对比目标在表征细微几何变化上的局限性。研究指出，未来需要更精细的相似性定义和损失函数，以反映渐进的几何与语义关系。此外，数据集规模仍小于通用三维数据集，且合成数据与真实形状之间的域差距有待缩小。人工检查未发现系统性标注错误，但大规模人类评估或专家验证仍是必要的。未来工作可扩展联合表征到文本条件表面生成、草图到表面流程及语义编辑等任务。总体上，ArchiClip与ArchiShape展示了多模态表征学习在增强建筑设计工作流中的潜力，并可作为诊断基准，帮助研究多模态模型如何编码开口、曲率、峰值等细粒度几何属性。