面向机器任务的GelSight双模态触觉数据压缩框架研究

《Digital Signal Processing》：GelSight Dual-Modal Tactile Data Compression for Machines

为解决GelSight触觉图像双模态信息差异化传输难题，研究人员开展基于特征语义保持多分支解码器（FSPMBD）与双分支熵模型的压缩框架研究。该框架通过分离形状-纹理模态与力模态，分别采用有损/无损压缩策略，在材料分类任务中将码率降至现有方法的8.3%-33.3%，为机器人触觉系统提供高效传输方案。

　　

随着仿生机器人技术的快速发展，如何让机器人获得接近人类的触觉感知能力成为学界关注焦点。GelSight作为高分辨率触觉传感器代表，通过弹性体表面标记点位移与光度立体视觉（Photometric Stereo, PS）结合，可同步获取物体形状纹理和接触力分布信息。然而这类传感器生成的触觉图像具有独特的双模态特性：形状-纹理模态支撑材质识别等感知任务，力模态则关乎抓取策略优化等精密操作。传统图像压缩方法虽能直接处理RGB格式的触觉图像，但其优化目标偏向人类视觉感知，难以保留对机器任务至关重要的微观几何细节与力分布信息。

现有面向机器的图像编码（Image Coding for Machine, ICM）方法存在明显局限："先压缩后分析"范式需维持图像视觉质量，导致传输冗余信息；"先分析后压缩"范式虽能提取任务相关特征，但分割点（Split Point）变更需重新训练模型，灵活性与效率不足。更关键的是，现有方法均未针对GelSight双模态信息的差异化需求设计解决方案——形状-纹理模态需保留任务语义特征，力模态则要求无损传输以确保控制精度。这种矛盾促使研究者探索新一代触觉数据压缩框架。

本研究提出端到端双模态触觉数据压缩框架，通过物理生成机制分离模态并实施差异化传输策略。针对形状-纹理模态，设计特征语义保持多分支解码器（Feature-Semantics Preserving Multi-Branch Decoder, FSPMBD），通过分支组合重构不同层级特征，配合多尺度分层语义保持损失（Multi-scale Hierarchical Semantic-preserving Loss）确保解码特征与预训练任务模型对齐。对于力模态，构建双分支熵模型（Dual-branch Entropy Model），基于背景与标记点像素分布差异进行独立概率建模，实现低码率无损压缩。实验采用Touch and Go数据集中的触觉数据，以材质分类为下游任务验证性能。

关键技术方法

研究通过双模态解耦模块分离形状-纹理与力模态信息。形状-纹理模态采用分析-压缩范式，使用预训练特征提取子网络获取浅层特征，经编码器压缩后由FSPMBD的多分支结构重构分层特征。力模态通过标记点提取算法获取信息，采用基于超先验（Hyperprior）框架的双分支熵模型，对背景和力标记游程序列（Run-length Sequences）分别建模概率分布。训练阶段引入多尺度分层语义保持损失，通过预训练后端推理子网络对齐解码特征与原始任务模型的多层特征表示。

特征语义保持多分支解码器设计

FSPMBD通过编码器压缩浅层特征后，利用多个解码分支重构不同深度特征。各分支输出可组合生成对应不同分割点的特征，避免模型变更时的重训练需求。实验表明该设计在材质分类任务中，仅需微调相关分支即可适应分割点变化，显著提升模型灵活性。与固定分割点方法相比，在维持分类准确率相当的前提下，计算负载降低至原有方法的1/3。

双分支熵模型优化

针对力模态统计特性，模型将游程序列按背景和标记点分区处理。基于两类区域分布差异构建独立熵模型，有效消除模态内统计冗余。测试显示该模型在无损压缩条件下，码率较传统方法降低42.7%，显著提升力信息传输效率。

多任务性能验证

以材质分类为下游任务进行率失真（Rate-Distortion, RD）性能评估。在相同分类准确率下，本文框架码率仅为JPEG2000的8.3%、BPG的12.7%以及深度学习压缩方法Cheng2020的33.3%。消融实验证实FSPMBD与双分支熵模型的协同作用——单独使用任一组件均会导致RD性能下降，证明双模态差异化传输策略的必要性。

本研究首创面向GelSight的双模态触觉压缩框架，通过物理机制引导的模态分离与任务自适应传输策略，突破传统方法在触觉场景的应用瓶颈。FSPMBD设计解决分割点变更的模型适应问题，双分支熵模型实现力模态的高效无损压缩。实验证明该框架在维持任务性能前提下显著降低码率，为机器人触觉系统提供轻量级、高灵活性的数据传输方案。未来可扩展至多传感器融合场景，推动触觉感知在智能制造、医疗机器人等领域的实用化进程。