无需真值数据的三维人体分割序列边界保持边缘精化的后处理方法

《Array》:Postprocessing Method for Boundary-Preserving Edge Refinement for 3D Human Body Segmentation Sequences without Ground-Truth Data

【字体: 大 中 小 】 时间:2026年06月22日 来源:Array 4.5

编辑推荐:

  研究人员提出了一种后处理策略,用于提升三维点云和多边形网格序列中自动人体分割的时间稳定性。尽管当前最先进的分割方法——主要基于机器学习(Machine Learning, ML)——通常以逐帧方式评估,但将其直接应用于时间序列数据时往往会产生时间不一致的标签,

  
研究人员提出了一种后处理策略,用于提升三维点云和多边形网格序列中自动人体分割的时间稳定性。尽管当前最先进的分割方法——主要基于机器学习(Machine Learning, ML)——通常以逐帧方式评估,但将其直接应用于时间序列数据时往往会产生时间不一致的标签,表现为相邻解剖区域之间边界的闪烁现象,即使帧间运动幅度很小。为解决这一局限性,研究人员引入了标签重分配程序,通过联合利用相邻帧的时间相干性和局部几何邻域内的空间一致性来精化逐顶点/逐点的预测结果。该方法能够纠正孤立的误分类、抑制离群点并减少虚假的标签转换,从而在时间维度上产生更平滑、更符合解剖学一致性的分割边界。研究人员使用六种互补的聚类相似性度量对14,500个样本进行了量化评估,包括质心距离(centroid distance)、豪斯多夫距离(Hausdorff distance)、钱弗距离(Chamfer distance)、瓦瑟斯坦距离(Wasserstein distance)、马氏距离(Mahalanobis distance)以及各向异性差异(anisotropy difference)。本研究中所有网格均采用均匀采样,平均顶点间距约为15毫米。结果表明,当纳入多于一个相邻帧并使用更密集的空间支持时,性能提升更为显著:当邻域的平均空间范围约为顶点间距的两倍(≈30毫米)时,增益最强——质心距离、豪斯多夫距离、瓦瑟斯坦距离和各向异性差异的均值降低幅度均超过约50%(分别从12毫米以上降至约6毫米、40毫米以上降至约20毫米、18毫米左右降至9毫米),钱弗距离降低幅度达到约30%(从9毫米降至略超6毫米),马氏距离降低幅度约为20%(从2.30降至1.85毫米)。这些降低与三维播放时视觉上更平滑的体验以及更稳定的片段间边缘相关联。
本研究旨在解决单帧分割性能与时间序列三维数据需求之间的差距。随着三维传感技术的进步,非接触式测量方法已广泛应用于医学、服装工业、运动捕捉、动画、自动驾驶及文化遗产数字化等领域。三维数据通常以点云(point cloud)形式表示,即笛卡尔坐标系下的样本集合;而多边形网格(polygonal mesh),特别是三角网格(triangular mesh),因其能够编码表面连通性、支持高质量渲染及精确映射,在需要表面连续性的应用中更为常见。研究人员聚焦于可同时处理点云与网格的三维人体表面分割方法,其目标是将每个表面元素分配至相应的解剖区域(如头部、躯干、四肢)。

当前最先进的分割方法主要基于机器学习,大量方法将二维图像分析中的卷积神经网络(Convolutional Neural Network, CNN)架构适配至三维数据处理。然而,这些方法通常针对单帧数据设计并评估,直接应用于时间序列数据时,即使帧间运动微小,仍会在解剖区域界面(尤其是头部-躯干、躯干-四肢交界处)产生边界闪烁等时间不一致现象。这种高频标签波动对动画、视觉特效、医学、运动科学及步态分析等下游应用尤为不利,因为分割派生的测量结果常作为时间序列信号分析,边界噪声会传播至运动学或形态学图表中,损害结果的可解释性。此外,密集三维序列的真值标注往往难以 rendered 3D sequences: reduced metric values coincide with smoother playback, diminished artifacting, and—critically—stable edges between segments that no longer flicker from frame to frame.

针对上述问题,研究人员开展了无需真值数据的后处理标签重分配策略研究。该研究的核心贡献在于:提出了一种纯后处理方法,通过联合利用相邻帧的时间相干性和局部几何邻域的空间一致性,对已分割序列的逐顶点标签进行精化,从而在不修改底层分割模型的前提下提升时间稳定性。

研究人员为开展研究采用的关键技术方法如下。样本队列来源于Osiński等人开发的多视角摄影测量采集系统,该系统配置30台FLIR Oryx 10GigE RGB相机(4096×2196分辨率,支持最高68 fps),通过运动恢复结构(Structure from Motion, SfM)与多视图立体(Multi-View Stereo, MVS)重建流程生成动态三维点云序列。数据集包含1,048帧点云,涵盖男性和女性受试者的行走(gait walking,867帧)与下蹲(squatting,181帧)两种运动模式;经泊松表面重建(Poisson surface reconstruction)后标准化为约10,000顶点、25,000三角面的网格,平均顶点间距约15毫米。初始单帧分割采用Haim等人提出的基于展平球面与环面的投影卷积网络,以16层U-Net架构训练获得。后处理阶段,研究人员设计了基于k近邻(k-Nearest Neighbors, k-NN)搜索的标签重分配算法:对当前帧每个顶点,在2n个相邻帧中通过KD树(KD-tree)检索k个最近邻点,执行多数投票(majority voting)重新确定标签。实验参数网格为k={5, 20, 50}(对应约10 mm、20 mm、30 mm空间范围)与n={1, 2, 3, 5}。评估采用六种无监督聚类相似性度量(质心、豪斯多夫、钱弗、瓦瑟斯坦、马氏距离及各向异性差异),并与时空稠密条件随机场(Dense Conditional Random Field, CRF)以及基于迭代最近点(Iterative Closest Point, ICP)配准与双边滤波(bilateral filtering)的运动感知滤波方法进行对比。

研究结果部分按照以下结构展开。

**指标定义与评估框架**。由于数据集缺乏真值标注,研究人员构建了六种互补的聚类相似性度量体系。质心距离计算两个聚类平均位置的欧氏距离,反映质量中心偏移;豪斯多夫距离采用双向最大-最小形式,捕捉最坏情况几何差异;钱弗距离通过对称化平均最近点偏差衡量整体几何失配,对孤立离群点敏感度低于豪斯多夫距离;马氏距离基于协方差矩阵的白化变换,计入各向异性扩展和相关性;瓦瑟斯坦距离将聚类视为概率分布,通过最优传输求解最小化搬运成本;各向异性差异则通过协方差矩阵特征值的不均匀度量化点云的方向性拉伸程度。这些度量为无真值场景下评估分割时间一致性提供了可解释的替代指标。

**实验结果与参数分析**。基线(无平滑处理)与各参数配置的对比结果表明:仅使用单个相邻帧(n=1)及稀疏邻域(k={5,20})时,各指标相对基准无明显改善甚至劣化;而纳入两个及以上相邻帧后,多数距离度量出现显著降低。最强增益出现在k=50(对应约30 mm空间范围,约为顶点间距两倍)、n≥2的配置:质心距离均值从12.38 mm降至5.72–6.25 mm(降幅50–60%),豪斯多夫距离从41.78 mm降至19.85–22.19 mm(降幅47–54%),瓦瑟斯坦距离从17.76 mm降至9.29–10.29 mm(降幅42–48%),各向异性差异从0.032降至0.012–0.016(降幅52–62%);钱弗距离从8.91 mm降至6.28–6.48 mm(降幅27–30%),马氏距离从2.31降至1.85–1.88(降幅19–20%)。中位数结果印证了上述趋势,且所有配置下各指标中位数至少不劣于基准。标准差分析显示,k=50时分布显著收紧,多数距离标准差降幅超60%(各向异性约50%),表明时间稳定性大幅提升。对比Dense CRF与ICP-双边滤波两种基线方法,在均值性能上,本方法(k=50,n=3)达到更优或可比水平;而在标准差层面则显著优于基线,显示出更低的变异性和更高的可靠性。

在讨论部分,研究人员指出该方法的主要优势在于无需真值数据即可操作,仅依赖现有分割算法的输出,具有实际应用价值。视觉验证与定量趋势一致:配置降低的度量值对应更平滑的三维播放、减少的伪影以及不再闪烁的片段间稳定边缘。14,644个样本(14个聚类×1,046帧对差异)的大规模计算为统计显著性提供了坚实基础。

然而,该方法存在若干局限性。其一,当前为离线处理模式,作为后处理精化而非分割管道的在线组件,未来需改造为仅依赖前序帧的因果形式以实现实时应用。其二,评估局限于标准成人人体姿态(行走与下蹲),缺乏对自遮挡、快速关节运动及显著动态姿态变化的测试;人群覆盖也需扩展至少年、儿童及超重群体,后者在解剖边界模糊区域(如腹股沟、腋窝、腹部)的分更具挑战性。其三,计算成本随时间窗口扩大(尤其n≥3)而增加,大规模部署需权衡算力与处理时效。其四,增益在相对低顶点密度网格(约10,000顶点)上最为显著,对于更密集采样的网格,相对改进空间可能较小,因为更精细的离散化本身已降低了几何噪声和边界抖动。参数调优方面,k值应随网格分辨率调整,或可采用基于半径r的邻域定义以保持跨数据集的空间支持一致性。

研究结论部分翻译如下:"本文针对单帧分割性能与时间序列三维数据需求之间的持续差距展开研究。尽管现代基于机器学习的方法能够可靠地分割以点云或多边形网格表示的人体表面,但逐帧应用这些方法往往会产生时间不一致性——最明显地表现为解剖界面(如头-躯干、躯干-四肢)即使在帧间运动较小时仍出现边界闪烁。受限于获取相干、视觉稳定分割的需求——尤其在真值不可获得或难以获取的场景中——本工作的主要贡献是一种后处理标签重分配策略,该策略通过联合利用相邻帧的时间相干性和局部几何邻域内的空间一致性来改进时间稳定性,而无需修改底层分割模型。该方法纠正孤立误分类、抑制离群点并减少虚假标签转换,从而在序列中产生更平滑、更符合解剖学一致性的边界。

所提出策略的有效性得到定量和定性证据的支持。六种互补度量——质心、豪斯多夫、钱弗、瓦瑟斯坦、马氏距离和各向异性差异——在14,500个样本上计算,为识别稳健模式提供了统计意义基础。结果表明,主要当纳入多于单个相邻帧且邻域密度足够高时,有意义的改进才会出现:邻域距离约为顶点间距两倍(≈30毫米)的配置产生最强增益——质心、豪斯多夫、瓦瑟斯坦和各向异性差异改善约(或超过)50%(质心从12毫米以上降至约6毫米,豪斯多夫从超过40毫米降至约20毫米,瓦瑟斯坦从近18毫米降至约9毫米),而钱弗改善近30%(从约9毫米降至略超6毫米),马氏约20%(从2.30降至1.85)。中位数值在所有度量上均得到改善或至少不更差,表明鲁棒性增强;标准差大幅收紧(通常>60%,各向异性约50%),表明变异性降低和时间行为更稳定。这些数值趋势与渲染三维序列的视觉评估相关:降低的度量值与更平滑的播放、减少的伪影以及——关键地——片段间不再闪烁的稳定边缘相吻合。

最后,本工作明确了该方法的操作范围和实践限制。该方法目前为离线运行,作为后处理精化而非分割管道的在线组件,且主要在标准成人人体姿态上评估。计算成本随更大时间_FRAMEBUFFER [[5]](https://cdn.example.com/image5.png)窗口扩大(尤其n≥3)而增加,改进在相对低顶点密度网格(约10,000顶点,25,000面)上最为显著,而更密集的网格可能显示较小的相对增益。未来方向包括将算法改造为仅依赖前序帧以实现在线操作,扩展验证至更广泛的运动和人群变异性,以及测试其他相似性度量(如准确率、IoU、RMS、Bhattacharyya距离、ICP残差)以确定其是否表现出可比敏感性和与感知稳定性的相关性。"
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号