一种基于双层超图特征融合的草图驱动3D零件模型的跨域检索方法
《Knowledge-Based Systems》:A Cross-domain Retrieval Method for a Sketch-based 3D Part Model Based on Feature Fusion of a Double-layer Hypergraph
【字体:
大
中
小
】
时间:2026年01月09日
来源:Knowledge-Based Systems 7.6
编辑推荐:
草图三维零件模型检索方法,提出基于双层数超图的特征融合和多元损失度量学习,解决跨模态检索中的信息冗余、特征表达能力不足和跨域匹配效果差的问题,通过投影草图筛选、多视角特征融合和联合损失优化,在ESB数据集上显著提升检索精度。
沈泉黄|潘峰李|陈子瑞|夏乐然|严成勇|余陆川
温州大学机电工程学院,中国温州325035
摘要
基于草图的3D零件模型检索是机械零件检索的重要方法。为了解决由于3D零件模型转换为2D视图导致的信息丢失、视图特征的表示能力较弱以及3D模型与2D草图之间的跨域匹配效果不佳等问题,本研究提出了一种基于双层超图特征融合的跨域检索方法。首先,通过综合考虑复杂性和多样性,提出了一种3D零件模型的投影草图表示和筛选方法,显著减少了投影草图中的信息冗余和丢失。随后,开发了一种基于双层超图特征融合的3D零件模型特征提取方法,从多个3D模型投影草图中提取和融合特征,实现了来自不同视角的草图特征的深度融合以及面向类别的语义增强。此外,还提出了一种基于多损失度量学习的3D零件模型跨域匹配方法。将手绘草图和3D模型嵌入到同一个度量空间中,并创建了一个基于联合损失函数的3D零件模型检索端到端训练框架,实现了手绘草图与3D模型之间的高效匹配。在ESB数据集上的实验结果表明,与现有方法相比,所提出的方法在多个评估指标上都有显著改进,证明了其可行性和有效性。
引言
随着计算机辅助设计系统在制造业中的广泛应用,大量3D零件模型被创建并存储在企业数据库或云平台中,从而形成了庞大的零件库[1]。
现代产品设计基于知识。相关调查显示,在产品设计中,只有20%的零件模型需要完全重新设计,而另外80%可以直接重用或稍作修改即可达到预期效果[[2]],[3]]。因此,在新产品的研究和设计过程中,设计师可以从零件库中检索零件模型,以获取和重用现有的3D零件模型,这大大加快了产品开发速度,降低了设计成本,并提高了产品质量。对于零件供应商而言,具有优异检索性能的零件库是他们推广和销售零件以及与客户沟通和合作的平台[4]。因此,3D零件模型检索是零件库的核心组成部分。然而,在在线环境中,大量的用户活动导致零件库具有大量的组件、多样的类型和动态演变。在这种情况下,如何快速准确地检索所需的3D零件模型是一个具有挑战性的问题[5],这直接影响了产品设计的效率。
基于文本描述或几何结构特征的传统检索方法面临特征描述不准确和名称模糊等问题,这使得它们无法有效处理复杂的3D零件模型。此外,检索过程也不够用户友好。与传统方法相比,深度学习模型可以自动学习和提取更高层次和更抽象的特征,并且无需人工干预即可捕捉3D零件模型的复杂特征,从而为这一问题提供了新的解决方案[[6]],[7]]。此外,随着各种数字终端的广泛使用,便携式触摸屏设备因其便捷的人机交互特性而受到公众的欢迎。基于手绘草图的3D模型检索已成为计算机视觉领域的一个热门研究方向[[8]],[9]],[10]]。
许多学者对日常生活中的3D模型检索进行了研究;然而,关于工业3D零件模型的检索研究仍然不足。在3D零件模型的开发和设计过程中,设计师通常通过手绘草图来表达他们的初步想法。因此,开发一种能够智能地将手绘草图与零件库中的模型匹配的检索方法具有重要的实际意义。这种基于草图的检索方法符合产品设计人员的工作习惯,可以更直观地捕捉设计意图,并提高检索的准确性和效率。
然而,草图是一种简化且不精确的2D表示,而3D模型包含完整的几何信息。草图和3D模型之间存在显著的领域差异。因此,基于2D图像的3D模型跨域检索对准确的特征提取和精确的检索提出了更高的要求。同时,与普通3D模型检索相比,3D零件模型的检索更具挑战性。这体现在以下几点:(1) 普通3D模型主要关注外观和视觉效果,而3D零件模型则是严格根据图纸和精确数据构建的,以便于后续组装和仿真。因此,3D零件模型不仅反映了零件的结构,还体现了零件的参数、组装和约束关系,而3D零件模型缺乏渲染等视觉效果。(2) 零件代表整个装配结构中的单个组件。由于其不完整性,单个零件的投影轮廓往往不够清晰,难以独立于装配来识别该零件。相比之下,如人、动物和建筑物等普通3D模型在投影到2D视图时表现出更明显的特征。(3) 与普通3D模型相比,3D零件模型通常包含大量的特殊局部几何特征,如孔、微凸点、倒角、螺纹和尖锐边缘。几何复杂的零件在投影图上呈现出复杂的轮廓,使得图像上的边缘和特征不够清晰。特别是从某些视角看,复杂的几何结构可能导致图像上出现多个重叠的边缘,使得基于草图的3D零件模型检索效果较差,尤其是在同一3D模型的2D草图之间存在显著视觉差异或不同3D模型的2D草图具有显著视觉相似性时。
鉴于3D零件模型的上述特点,有效学习其深度特征表示并实现精确的跨域检索是必要的。针对这一问题,本研究提出了一个用于3D零件模型特征提取和融合的双层超图网络。此外,它引入了多损失度量学习来实现草图和3D模型之间的跨域特征对齐,从而实现了基于草图的3D零件模型的精确和智能检索。本研究的主要贡献如下:
(1)通过考虑投影草图的复杂性和多样性,提出了一种3D零件模型的投影草图表示和筛选方法。该方法旨在选择一组包含丰富信息、具有高复杂性和足够多样性的代表性投影草图。因此,实现了对复杂3D零件模型的准确和高效的视图级表示。
(2)开发了一种基于双层超图特征融合的3D零件模型特征提取方法。使用带有注意力机制的残差网络提取单个投影草图的全局和关键特征。引入了双层超图神经网络来提取和融合多个3D零件模型的特征投影草图的特征,实现了来自不同视角的草图特征的深度融合以及面向类别的语义增强。
(3)提出了一种基于多损失度量学习的3D零件模型跨域匹配方法。通过多损失函数的协同优化,创建了一个能够准确测量手绘草图和3D模型之间相似性的深度度量空间。这有效地消除了两者之间的领域差异,实现了手绘草图和3D模型之间的精确和智能匹配。
(4)构建并实现了一个基于联合损失函数的3D零件模型检索端到端训练框架。将草图特征提取、双层超图特征融合和多损失度量学习这三个主要模块无缝集成,形成了一个闭环优化机制。这使得每个模块网络可以根据检索任务的要求协同调整其学习方向,克服了传统方法中分别训练每个模块时高时间和计算成本的问题,显著提高了整体检索性能。
(5)在扩展的ESB数据集上进行了一系列实验。结果表明,与现有的七种方法相比,所提出的方法在准确性、召回率等各项评估指标上都有显著改进,双层超图的投影草图表示和筛选模块、特征提取模块以及端到端训练网络模块显著提升了检索性能。
相关工作
相关工作
最近,基于草图的3D模型检索研究稳步增加。之前的方法[[11]],[12]],[13]]使用了手动方法从草图和3D模型中提取特征。由于这些方法的特征区分能力有限,它们无法客观和全面地提取共同特征,导致2D草图和3D模型两种模态之间的对齐效果较差,检索精度较低。
近年来,深度学习模型[
所提出方法的总体框架
所提出方法的总体框架如图1所示,包括四个核心模块:3D零件模型的投影草图表示和筛选方法、基于双层超图特征融合的3D零件模型特征提取模型、基于多损失度量学习的跨域匹配方法,以及基于联合损失函数的3D零件模型检索端到端训练框架。
在检索模型的训练阶段,
数据集和评估指标
本研究使用工程形状基准(ESB)[45]数据集进行模型训练和实验评估。该数据集包含867个机械零件模型,共42个类别。其中,66个模型被归类为3个杂项类别。由于杂项模型无法进一步细分且会干扰模型训练,因此在本研究中将其排除在外。从TraceParts和3DSource下载了总共254个零件模型
结论
本文的创新之处如下:(1) 通过综合考虑复杂性和多样性,提出了一种新方法,可以有效地筛选出一组具有丰富信息、高复杂性和足够多样性的代表性投影草图,用于3D零件模型的语义表示。(2) 引入了双层HGNN来提取和融合多个3D零件模型的特征投影草图的特征,实现了来自不同视角的草图特征的深度融合
CRediT作者贡献声明
沈泉黄(通讯作者兼第一作者):概念化、形式分析、资金获取、方法论、资源、监督、撰写——审阅与编辑。潘峰李:概念化、方法论、软件、验证、撰写——初稿。陈子瑞:概念化、方法论、撰写——审阅与编辑。夏乐然:数据管理、资源、可视化。严成勇:软件、验证。余陆川:概念化、监督。
CRediT作者贡献声明
沈泉黄:撰写——审阅与编辑、监督、资源、方法论、资金获取、形式分析、概念化。潘峰李:撰写——初稿、验证、软件、方法论、概念化。陈子瑞:撰写——审阅与编辑、方法论、概念化。夏乐然:可视化、资源、数据管理。严成勇:验证、软件。余陆川:监督、概念化。
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文所述的工作。
致谢
本工作得到了中国温州基础公共科学研究项目(编号20240016)、国家自然科学基金(编号52305549、编号52272376)和中国浙江省高等教育教学改革重点项目(编号JGZD2024064)的支持。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号