《Neural Networks》：Cross-Group Bidirectional Fusion Network for 3D Model Classification
编辑推荐：
摘要3D模型分类是人工智能中的一个重要任务，其目标是根据形状、结构和其他特征对3D模型进行分类。针对一些现有的多视图3D模型分类方法中存在的视图间交互不足和特征融合效率低的问题，本文提出了一种基于跨组双向融合网络的3D模型分类方法。首先，将双分支共享Swin Transforme
摘要
3D模型分类是人工智能中的一个重要任务，其目标是根据形状、结构和其他特征对3D模型进行分类。针对一些现有的多视图3D模型分类方法中存在的视图间交互不足和特征融合效率低的问题，本文提出了一种基于跨组双向融合网络的3D模型分类方法。首先，将双分支共享Swin Transformer特征提取器与特征金字塔网络相结合，以实现多尺度层次化特征融合。其次，跨组交互模块构建了一个基于注意力的语义依赖矩阵，使得跨视图特征关联能够在上下文中进行。第三，提出了一种双向逐元素线性调制策略，通过使用另一组视图的全局语义动态生成仿射变换参数，来自适应地调整跨视图特征响应。第四，在训练过程中采用了一种随机混合数据增强策略来增强模型的规范化能力。实验结果表明，所提出的方法在ModelNet40数据集上的分类准确率为95.58%，验证了该机制在促进高效多视图特征融合方面的有效性。
引言
3D模型分类是计算机视觉和3D几何分析中的基本任务，是理解3D场景的关键技术。它在智能制造、数字孪生和自动驾驶等应用中起着重要作用。随着深度学习的快速发展，主流的3D模型分类方法可根据数据表示方式大致分为基于点云的方法、基于体素的方法和基于多视图的方法。其中，多视图方法因其能够利用成熟的2D视觉框架从渲染视图中有效提取语义线索而受到关注。
早期的多视图方法，如MVCNN（Su等人，2015年）和RotationNet（Kanezaki等人，2018年），主要依赖视图池化进行特征聚合，这在显式建模跨视图关系方面能力有限。为了提升多视图表征能力，最近的研究在多个方向上进行了改进。例如，MVTN（Hamdi等人，2025年）通过优化视角配置来提高视图覆盖范围，而Zhao（Zhao等人，2023年）将图模型和关系聚合结合到更通用的多视图学习中，以表征视图之间的依赖关系。同时，多视图融合选择和更细粒度的交互建模等方法也在不断出现，反映出研究重点从简单的特征聚合向更全面的跨视图信息利用的转变。尽管取得了这些进展，但在统一的框架下实现细粒度的跨视图交互和多尺度特征的有效融合仍然具有挑战性。从不同角度渲染的视图往往表现出相当大的异质性，直接聚合或纯全局关系建模可能导致视图间判别线索的对齐性不佳。此外，许多现有的融合流程在训练后倾向于学习相对固定的聚合行为，并且可能不支持不同视图上下文之间的上下文条件校准。为了解决这些问题，本文提出了一种基于跨组双向融合网络（CBF-Net）的3D模型分类方法。该网络使用双分支Swin Transformer与特征金字塔网络（FPN）相结合，提取多尺度层次化特征，有效捕捉局部细节和全局结构信息。为了实现稳健的视图间通信，本文设计了一个跨组多头注意力模块，该模块构建了一个基于注意力的语义依赖矩阵，实现上下文感知的特征对齐。此外，本文还引入了双向逐元素线性调制（Bi-FiLM）策略，通过使用对立视图组的全局语义动态生成仿射变换参数，来自适应地调整跨视图特征响应。最后，在训练过程中采用了一种随机混合数据增强策略，在Mixup和CutMix之间交替使用，以增强数据的多样性同时保持3D结构的一致性。本文的主要贡献如下：
(1)提出了一种多尺度特征提取架构，将共享Swin Transformer与FPN集成在一起。这种设计有效地从每个视图捕获了全面的几何语义，提高了提取特征的表现力。
(2)设计了一个跨组交互模块，用于在视图组之间构建基于注意力的语义依赖矩阵，实现上下文感知的特征关联。
(3)引入了Bi-FiLM策略进行自适应特征融合。通过从对立视图动态生成调制参数，该策略实现了更优越的跨视图特征校准和融合。
(4)开发了一种随机混合数据增强策略。通过Mixup和CutMix，该策略提高了模型的泛化能力。
本文的其余部分安排如下：第2节介绍相关工作。第3节介绍了CBF-Net的框架。第4节给出了实验结果。第5节进行了总结。
章节摘录
3D模型分类
3D模型分类方法主要根据体素、点云和多视图分为三类。基于体素的方法将3D模型离散化为规则网格，并使用3D卷积神经网络提取空间特征。Xiong（Xiong等人，2021年）提出了一种基于点云体素网格的配准方法。Plaza-Leiva（Plaza-Leiva等人，2017年）提出了一种用于实现和比较监督学习的通用框架
基于CBF-Net的3D模型分类
本文提出了一种基于CBF-Net的新3D模型分类框架，如图1所示。
实验
在公开可用的ModelNet40数据集上进行了实验，以评估本文方法在3D模型分类任务上的性能。ModelNet40包含40个类别和12,311个3D模型，其中训练集有9,843个模型，测试集包含2,468个模型。
结论
在本文中，我们提出了CBF-Net来解决多视图3D模型分类中视图间交互不足和特征融合效率低的问题。通过集成多尺度特征提取架构、跨组注意力模块和Bi-FiLM策略，所提出的方法改进了对细粒度几何语义的建模，并通过特征组之间的双向交互增强了多视图特征融合。实验结果表明
CRediT作者贡献声明
Xueyao Gao：撰写 – 审阅与编辑，撰写 – 原始草稿，可视化，验证，数据管理，概念化。Yali Shao：撰写 – 审阅与编辑，撰写 – 原始草稿，可视化，验证，数据管理，概念化。Chunxiang Zhang：撰写 – 审阅与编辑，撰写 – 原始草稿，可视化，验证，数据管理，概念化。Yongzeng Xue：撰写 – 审阅与编辑，撰写 – 原始草稿，可视化，验证，数据管理，
利益冲突声明
作者声明他们没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。
致谢
本工作得到了中国黑龙江省自然科学基金（项目编号PL2025F017）的支持。
Xueyao Gao|Yali Shao|Chunxiang Zhang|Yongzeng Xue
