基于改进Mask R-CNN的合黄皮影图像分割方法及数据集构建

《Applied Sciences》：Enhanced Mask R-CNN with PANet and PointRend for Detection and Instance Segmentation of Shadow Puppet Characters

　　

摘要

合黄皮影图像分割对于艺术创作和文化保护具有重要意义。然而，该任务仍面临人工分割主观性强以及复杂图像边界划定不准确等挑战。为应对这些挑战，本文提出了一种改进的Mask R-CNN模型，用于精确分割皮影图像边界。具体而言，受PANet启发，本文仅在FPN输出后采用其自底向上的路径增强机制，以缩短低级轮廓特征与高级语义之间的特征融合路径。此外，以Concat操作替代残差连接，以保留特征多样性。最后，将PointRend模块集成到掩码分支中，以防止分割掩码边缘出现过度平滑的过渡，并增强图像边界分割的像素级精细化能力。本研究构建了一个包含2700张图像和七个实例类别的COCO格式新数据集，用于全面的分割评估。与基线模型相比，所提模型在检测的bbox_AP上实现了10.1%的相对提升，在实例分割的segm_AP上实现了10.6%的相对提升，同时segm_AP50从92.1%提升至95.0%。此外，我们开发了一个交互式分割系统，能够对复杂边界进行精细化处理，从而增强皮影元素提取能力，并促进其在皮影遗产数字化保护场景中的应用。