基于TPS形变与图像修复的多模块协同网络TileNet：人体图像到平铺服装的精准生成

本文提出TileNet多模块网络，通过薄板样条（TPS）形变、形状掩模生成和图像修复三阶段协同，解决从人体图像生成平铺服装时纹理模糊的关键问题。创新性采用任务驱动架构，保留有效纹理区域的同时填补空缺，显著提升生成质量（L1损失优化），为电商检索和虚拟试衣（virtual try-on）提供新方案。

　　

Highlight

我们提出TileNet多模块协同框架，其核心创新在于：

1. 通过任务驱动设计解决传统方法因人体姿态导致的服装-标签错位问题

2. 采用薄板样条（Thin-Plate Spline, TPS）形变技术实现服装初步平铺

3. 引入图像修复（inpainting）模块精准填补纹理空缺

Method

TileNet包含三大模块：

• 服装形变模块：预测服装关键点并通过TPS插值生成近平铺状态图像

• 形状掩模模块：生成二进制掩模去除无关区域（如背景/人体部位）

• 修复模块：通过生成修复掩模识别可保留纹理区域与待填补空白区域

Dataset

采用Choi等人整理的虚拟试衣数据集（13,679对图像），过滤特殊平铺状态样本后，最终使用11,647训练集和2,032测试集图像对。

Limitations and Future Work

当前局限包括：

• 严重遮挡导致的纹理信息丢失（如图11所示）

• 复杂褶皱图案的生成细节不足

  未来将探索：

• 结合物理仿真优化形变过程

• 引入注意力机制增强纹理修复

Conclusion

TileNet通过模块化设计实现服装平铺图像的高保真生成，其TPS形变与修复策略有效规避了传统L₁损失导致的模糊问题，为服装检索和虚拟试衣系统提供了可靠的技术支持。