《Journal of King Saud University Computer and Information Sciences》：Research on cross-modal reconstruction of Li brocade 2D patterns to 3D structures based on the Pix2PixHD generative model
编辑推荐：
黎锦是联合国教科文组织列入急需保护名录的黎族纺织遗产，目前主要以平面照片形式存续，基于学习的三维重建方法往往丢失图案细节并扭曲三维形态。本研究从单幅二维图案图像重建黎锦服装。采用带多尺度注意力与注意力加权纹理一致性损失的改进Pix2PixHD合成纹理，并利用图
黎锦是联合国教科文组织列入急需保护名录的黎族纺织遗产，目前主要以平面照片形式存续，基于学习的三维重建方法往往丢失图案细节并扭曲三维形态。本研究从单幅二维图案图像重建黎锦服装。采用带多尺度注意力与注意力加权纹理一致性损失的改进Pix2PixHD合成纹理，并利用图卷积网络在拟合于穿着者的SMPL（Skinned Multi-Person Linear Model，多人线性蒙皮模型）人体上预测服装位移。显式服装类别条件与图案特征保持分离，用于选择基础网格、变形流形与接缝规则，这些规则遵循黎锦服装由窄幅织片拼合的装配方式。Li-Brocade3D数据集包含13,256个样本，其中包括由428件真实服装构成的留出测试集，其结构光扫描作为真值，合成样本在CLO3D中模拟，织物参数基于机织样布经实测悬垂性校准。在测试集上，该方法达到FID（Fréchet Inception Distance，弗雷歇起始距离）24.78、SSIM（Structural Similarity Index，结构相似性指数）0.866、Chamfer距离3.71 mm以及专家图案完整性评分87.8，相较Pix2PixHD将FID降低36.4%，相较Neural Cloth将Chamfer距离降低37.3%。仅从图案图像推断的类别在测试样本中正确率仅为91.6%，类别错误会使Chamfer距离增加67.4%。在40件标本上，由实测纸样驱动的CLO3D服装CAD（Computer Aided Design，计算机辅助设计）工作流精度更高，为3.13 mm对3.71 mm，但每件服装约需140 min人工，而所提方法仅需0.60 s。知觉实验表明，2.88°的平均角度畸变低于非专业观察者的检测阈值，略高于遗产专业人员阈值，而头巾的畸变对两类观察者均可见，是主要局限。
研究背景方面，黎锦由海南黎族创造，其织造技艺与图案符号承载民族文化意义，2009年被联合国教科文组织列入急需保护名录。长期以来，保护工作依赖实物收藏与平面摄影记录，无法呈现服装的三维形态与穿着效果，因此从二维图案到三维结构的重建成为关键问题。虚拟重建可延长濒危遗产的数字生命周期，三维虚拟试穿对民族服饰展示亦具可行性；深度学习重塑了单图像三维重建，生成对抗网络推进了高分辨率条件合成，大规模语料支持Transformer恢复缝纫纸样。然而这些方法缺乏针对民族服饰纹理与结构的定向建模，易出现图案细节丢失与形态畸变。已有服装三维建模流程面向日常服装，无法直接用于黎锦；CLO3D、Style3D、Browzwear等商业服装CAD系统依赖实测纸样与校准织物，每件服装需数小时专家工作。本研究以采集服装的结构光扫描作为几何真值，所指畸变为基于单幅图案照片的学习式重建所产生的畸变。
研究人员开展了单幅二维图案图像重建黎锦服装的研究，提出两阶段框架：第一阶段用改进Pix2PixHD从输入图案合成真实感纹理，第二阶段在显式服装类别条件与体型姿态参数驱动下进行参数化三维建模。选择Pix2PixHD而非主流扩散模型，原因在于文本驱动扩散缺乏领域知识与图案到纹理的精确像素对应、纹理一致性与文化符号约束可自然嵌入GAN目标、前馈推理适合交互展示。研究得出：改进Pix2PixHD配合注意力加权纹理一致性损失与图卷积位移场达到FID 24.78、Chamfer距离3.71 mm、图案完整性评分87.8，且是注意力加权而非单纯Gram统计量保护了文化显著区域；将服装类别作为显式条件对平面图案输入是必要的，从图案推断的类别在图案应用于非典型原型时会失败，错误类别会传播至几何与UV映射而不影响纹理质量；基于机织样布校准仿真、将人体模型拟合于扫描穿着者、从黎锦服装织片构造导出接缝规则，使合成数据与重建均锚定于真实材料；商业服装CAD在具备实测纸样时几何更精确，而所提流程仅需一张照片且无需人工，两者互补；平均角度畸变低于非专业观察者阈值、略超专业人员阈值，头巾畸变对两者均可见，几何精度提升超过约1 mm才可见。其重要意义在于为仅存照片的档案提供快速批量生成展示资产的途径，并实现固定图案在无需重新训练的情况下跨原型重建。
关键技术方法方面，研究采用改进Pix2PixHD（含多尺度注意力与注意力加权纹理一致性损失的级联生成器与多尺度PatchGAN判别器）、基于ResNet-50与四级特征金字塔的通道与空间注意力图案特征提取、SMPL参数化人体模型及一次Loop细分、图卷积位移场预测网络，以及带语义接缝预标记的最小二乘保角映射（LSCM）纹理UV映射。样本队列来源于海南五指山市、白沙县与乐东县的田野调查与数字扫描，测试集为428件真实服装，另在东方市与昌江黎族自治县采集21件黎锦器物用于泛化测试。
研究结果方面，图像生成质量评价表明，在428件真实测试样本上本方法在所有图像质量指标上最优，相较原始Pix2PixHD，FID从38.94降至24.78（相对提升36.4%），SSIM从0.803升至0.866，PSNR从25.87升至29.68 dB，归因于纹理感知损失与文化符号约束；几何图案最稳定（FID中位数20.6），人物图案最难（31.8），Kruskal-Wallis检验证实类别间四项指标均有差异。三维重建精度评价表明，本方法在所有几何指标上领先，Chamfer距离3.71 mm、点面距离3.52 mm、法向一致性0.952；在A-pose、T-pose与10种日常姿态下Chamfer距离保持3.3至4.6 mm，标准差仅0.39 mm。文化特征保持评价表明，由3位黎锦传承人与2位纺织研究专家组成的评审组给出总体图案完整性评分87.8，高于所有基线，组内相关系数0.87。消融实验表明，移除多尺度注意力使FID上升25%；保留Gram矩阵但均匀加权造成图案完整性最大降幅，证实注意力加权承载文化特征保持；以多层感知机替代图卷积位移场使Chamfer距离从3.71升至5.11 mm；混合真实与合成数据整体最优。注意力可视化分析表明，第4阶段注意力集中于头饰、蛙纹肢关节等文化显著元素，显著区域占图案面积17.9%却获得56.8%的第4阶段注意力。计算效率分析表明，单样本推理在A100上为0.42 s、在RTX 3090上为0.63 s。服装类别条件可靠性与跨原型复用分析表明，辅助分类器准确率91.6%，管裙与上衣占误分类样本的23/36；四类误推断场景平均使Chamfer距离从3.71升至6.21 mm（退化67.4%），图案完整性下降11.1分，角度畸变从2.88°增至6.03°，而FID保持24.78；20个未见过母题在四种原型上共80种组合中60种为训练语料中不存在的交叉应用，显式条件下Chamfer距离3.96 mm、图案完整性86.2。UV参数化畸变与接缝规则敏感性分析表明，腰带最易（1.61°），头巾最难（平均4.51°、95分位7.92°、Chamfer距离4.68 mm），源于拓扑（单径向切口扇形图）与几何（多层包裹导致位移多值）两方面原因；二面角阈值45°时评分达峰。与商业服装CAD工作流比较表明，CLO3D几何更准（3.13 mm对3.71 mm），但每件需140 min人工对0.60 s。UV畸变与几何误差的知觉评价表明，检测阈值为非专业观察者3.46°、专业观察者2.71°，平均畸变2.88°低于非专业阈值而略高于专业阈值；第三实验中观察者71.9%判定本方法重建更接近真值。失败案例分析与泛化表明，头巾多层包裹是最常见失败原因（12例，平均Chamfer距离8.24 mm、图案完整性79.9）；在数据集冻结后采集的21件器物上，14件四类原型服装达到Chamfer距离4.17 mm与图案完整性85.6，MeiFu风格最低（4.45 mm、83.3），7件无对应原型的器物纹理仍可生成但无法构建三维服装。
讨论部分将结构光扫描、服装CAD与本流程定位为黎锦服装数字保护的不同阶段：扫描记录单件标本某一状态的几何并作为真值；服装CAD更忠实复现悬垂与层次但依赖实测纸样、校准织物与数小时专家工作；本流程从单幅图案照片与服装类别出发、运行不足一秒、图案完整性与CAD工作流相差0.2分以内，适用于仅存照片的档案。显式类别条件与网络同等重要：从图案推断的类别在标准测试样本正确率91.6%，但同一母题置于其他原型时80种组合中仅20种匹配，错误类别使Chamfer距离增加67.4%而不改变FID。设计选择源于材料与穿着者：SMPL人体拟合于每位扫描穿着者（其身高明显低于国家号型标准中间体）、接缝规则遵循窄幅织片装配、损失权重结合专家图案完整性判断选取。剩余误差集中于头巾原型。研究局限包括：数据集仅856件真实样本、与合成样本存在分布差距、田野调查未覆盖五大黎语方言区全部图案风格（MeiFu风格不足）、纹理记录分辨率约26至87 PPI无法呈现织构与纤维、类别条件仅覆盖四种原型、位移场为单值偏移无法求解布料动力学、接缝流程依赖基于黎锦织物的阈值。未来工作将把学习位移与物理仿真或多层隐式表面耦合、从实测纸样学习接缝布置，并测试框架向其他民族纺织品的扩展。研究结论译为：本研究以分离“织什么”与“如何裁剪”的两阶段框架从单幅图案照片重建黎锦服装，主要结论为：(1) 带注意力加权纹理一致性的改进Pix2PixHD与图卷积位移场达到FID 24.78、Chamfer距离3.71 mm与图案完整性评分87.8，且是注意力加权而非单纯Gram统计量保护了文化显著区域；(2) 对平面图案输入而言，将服装类别作为显式条件是必要的，因为母题应用于非典型原型时从图案推断的类别会失败，错误类别会传播至几何与UV映射而不影响纹理质量；(3) 基于机织样布校准仿真、将人体模型拟合于扫描穿着者、从黎锦服装织片构造导出接缝规则，使合成数据与重建均锚定于真实材料；(4) 具备实测纸样时商业服装CAD工作流几何重建更精确，而所提流程仅需一张照片且无人工，两者对关键标本与照片档案互补；(5) 平均角度畸变低于非专业观察者检测阈值而略超专业人员阈值，头巾畸变对两者均可见，几何精度提升超过约1 mm才可见。多层包裹头巾、四类原型之外的服装形制以及数据中代表性不足的风格仍是有待解决的问题。
