AI赋能的视觉-接近-触觉多模态一体化传感器：机器人交互感知的新突破

这篇研究提出了一种基于AI技术的全集成多模态传感器VPTS（Vision-Proximity-Tactility Sensor），通过单目可调焦摄像头与紫外荧光标记膜的创新设计，实现了视觉（F1=0.9733）、接近感知（MAE=5.098 mm）和触觉力分布（RMSE=0.653 mN）的三模态协同感知，解决了传统多传感器系统的体积、同步和干扰问题，在28步连续任务的音乐游戏实验中验证了其复杂交互能力。

　　

硬件设计与工作流程

VPTS的核心创新在于采用透明聚二甲基硅氧烷（PDMS）膜集成紫外（UV）激发荧光标记阵列，配合可调焦单目摄像头（5MP，75°无畸变镜头）和365 nm紫外光源（10V供电），通过切换UV光源开关与摄像头对焦模式（远焦3-100 cm/近焦22 mm）实现三模态感知。传感器体积仅35×26×30 mm³，重量20.86 g，其6×6荧光标记阵列（直径0.9 mm，间距2 mm）的变形特征成为触觉力分布的关键解码依据。

数据采集与算法架构

视觉模块采用基于Transformer的RT-DETR模型（300张训练图，72 epochs），通过多尺度特征融合实现目标检测；接近感知模块创新性结合分类与深度回归策略（LocalBins模型，240张深度图），利用机器人臂辅助校准解决RGB-D对齐难题；触觉模块通过有限元分析（Abaqus软件，Mooney-Rivlin超弹性模型）构建力分布数据库，结合ResNet-50（2500样本，40 epochs）实现0.5 mm分辨率的接触力预测。

性能验证

三模态协同测试显示：视觉模块在混淆矩阵中仅玩具导弹出现漏检，对键盘/蘑菇等目标保持95%以上识别率；接近感知在130-200 mm范围内MAE稳定低于6 mm（小提琴图验证）；触觉模块的预测力与真实值Pearson相关系数达0.9967，能准确区分同点位不同压力（0.5-3N）和同压力不同接触位置。在UR3机械臂操控实验中，VPTS成功完成笔帽按压（触发电路）、玩具蘑菇声光激活等需要毫米级定位与毫牛级力控的精细操作。

音乐游戏长序列验证

在"小星星"钢琴游戏测试中，VPTS完成28步连续子任务：先通过视觉识别屏幕黑块位置（1-4对应方向键），再定位键盘目标键，经接近感知计算下降距离（深度图中值提取），最终以触觉反馈控制按压力度（阈值触发释放）。该实验证实系统在跨模态信息传递（视觉坐标→深度估计→力控）中的可靠性，为需要持续环境反馈的医疗机器人操作等场景提供新范式。

未来优化方向

研究者计划缩小传感器体积（现18.3×18.3 mm²接触膜），扩展触觉数据集涵盖更多材料与异形接触面，并探索PDMS膜在体液环境中的稳定性，以适配手术机器人等医疗应用场景。当前局限在于荧光标记的长期紫外老化效应尚未评估，这将是生物相容性改进的重点。