基于视觉-触觉注意力融合的柔性印刷电路位置识别技术在工业机器人手机组装中的应用

《Engineering Applications of Artificial Intelligence》：Visual–haptic attention fusion based flexible printed circuit position identification in industrial robotic mobile phone assembly

本文针对工业移动机器人柔性电路板（FPC）装配中定位精度要求极高的挑战，提出基于多模态融合的MHA架构和动态权重平均策略，通过视觉-触觉信息融合编码与误差回归优化，显著提升FPC位置和角度识别精度，为手机自动化装配提供新方法。

　　

唐子涵|赵永佳|罗德明|潘航|陈金龙|詹永松|杨明浩

北京航空航天大学虚拟现实技术与系统国家重点实验室，中国北京 100191

摘要

尽管在机器人操作方面有多种方法，但由于工业手机柔性印刷电路板（FPC）组装对位置识别要求极其严格，尤其是对于非常微小的FPC组装目标，这仍然是一个巨大的挑战。为此，本文提出了一种在工业机器人手机组装中精确识别FPC位置的方法。本文的主要贡献如下：（1）我们构建了一个多头注意力（MHA）架构，旨在将视觉-触觉信息编码为紧凑的融合表示；（2）将理想FPC位置与周围不匹配的FPC位置之间的距离和旋转误差以回归方式与多头注意力解码器的信息相连；（3）采用动态权重平均（DWA）策略来调整损失计算中的权重，从而在损失回归中更好地平衡位置和旋转误差。实验在一个实际的FPC组装平台上进行。结果表明，所提出的方法可以在有限的组装尝试次数下显著提高FPC的位置精度。未来有可能将这种方法应用于实际的手机生产线，以减轻劳动负担。

引言

手机中的柔性印刷电路板（FPC）作为核心传输组件，连接着摄像头、键盘和各种芯片组。它促进了数字数据和命令在各个单元之间的传输。作为关键部件，FPC必须通过将FPC连接器探针正确地扣接到主板上，同时尽可能减少组装尝试次数。图1展示了一个FPC组装的例子，这与之前的研究（Yang等人，2024年）中的FPC组装案例类似。图1(a)至图1(c)分别显示了FPC、手机面板和成功的组装结果。图中的组件$c_i$$\le$$i$$\le$$r_i$表示FPC上的连接器，而$\le$表示固定在手机面板上的相应接收器。

尽管在工业机器人操作中有多种方法，例如汽车（Zachares等人，2021年）、家具（Lee等人，2021年）、计算机组装（Kyrarini等人，2019年）等，但目前手机的FPC组装仍然完全依赖手工操作，且FPC组装过程仍然非常劳动密集和繁琐。人们非常希望机器人能够自动完成FPC的组装。

自动FPC组装面临的挑战包括：（1）精确检测微小的FPC组装目标：FPC连接器和接收器的尺寸非常小，例如，连接器的尺寸为0.9厘米×0.3厘米，这使得在操作过程中通过摄像头准确感知它们变得困难；（2）组装尝试的高精度和低容忍度：在工业实践中，FPC连接器组装的最大误差容忍度在x方向上为0.2毫米，在y方向上为±1°。FPC连接器和接收器通过数十个微小而脆弱的金属探针连接。通常，经过五次失败尝试后，这些探针可能会损坏，从而无法使用。

最近，提出了几种与FPC组装相关的技术，包括FPC连接器和接收器检测（Cui等人，2022年）、FPC基板的传感器设计（Chuang等人，2022年）、基于触觉信息的FPC位置识别（Yang等人，2024年）等。尽管这些工作在视觉检测和低容忍度问题上有广泛的讨论，例如使用循环神经网络（RNN）在摄像头中进行FPC连接器的准确识别（Cui等人，2022年），以及结合长短期记忆（LSTM）的深度孪生网络结构（DSN）来回归FPC的触觉位置偏移（Yang等人，2024年），但这些工作仅考虑了FPC组装中的单模态信息。

尽管基于回归的环境观察方法效率较高，但这些组装策略更多地关注使用单模态视觉或触觉信息来解决自遮挡问题。与这些工作不同，我们提出了一个多模态融合框架，通过多头注意力（MHA）机制整合了视觉和触觉信号，实现了更强大和准确的特征表示。此外，我们引入了动态权重平均（DWA）策略来处理多任务回归问题，有效地平衡了位置误差和角度误差之间的学习过程。考虑到回归策略在微小目标定位任务中具有更高的定位精度性能，我们使用带有多模态信息的回归方法来解决手机FPC连接器的定位问题。

相关研究

相关工作

在FPC的工业组装过程中，操作通常包括三个主要步骤：

步骤1：将FPC定位在材料面板上，并将其转移到调整面板上；

步骤2：准确检测调整面板上FPC连接器的位置；

步骤3：使用尽可能少的组装尝试次数，将FPC连接器连接到手机面板上的接收器上。

这些组件（材料面板、调整面板和手机面板）的空间配置

提出的方法

图2展示了所提出方法的工作流程。它包括三个模块：A：视觉-触觉信息获取和特征表示；B：用于偏移预测的多头注意力；C：回归中的自适应权重损失函数。

组装平台

与之前的研究（Yang等人，2024年）类似，该组装平台是为手机Redmi Note 11的FPC配置的。图3(a)显示了实际的组装平台，包括末端执行器、调整面板、手机面板和材料面板。在本研究中，使用了DAZU HansRobot，其最小移动和旋转分辨率为0.01毫米和0.01°。

数据收集

当FPC正确与连接器匹配时，确定理想的FPC连接器位置

结论

本文提出了一种用于手机FPC组装的新模型，为小目标的精确定位提供了新的方法。通过为FPC连接器设置一个理想位置，机器人臂可以直接控制在该理想位置获取视觉和触觉信息，将FPC的定位任务转化为预测当前位置与理想位置之间的偏移量。此外，我们实现了一个用于特征提取的网络结构

CRediT作者贡献声明

唐子涵：撰写——审稿与编辑，撰写——初稿，形式分析，数据管理。 赵永佳：撰写——审稿与编辑，项目管理，资金获取，概念化。 罗德明：监督，数据管理。 潘航：方法论，调查。 陈金龙：验证，数据管理。 詹永松：资源，概念化。 杨明浩：撰写——审稿与编辑，数据管理，概念化。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文所述的工作。

致谢

本研究得到了广西重点研发计划（AB25069476、AB24010164）、河南省重点研发项目（编号261111110500）、北京自然科学基金（F2024205028）和河北省自然科学基金（F2024205028）的支持。