强度-光谱偏振层次融合引导的高效透明物体检测方法FuseISP研究

为解决透明物体因缺乏纹理色彩信息导致的检测难题，合肥工业大学团队提出FuseISP框架，通过强度-光谱偏振混合调制器(ISPMM)和层次特征融合模块(HFF)实现多模态特征交互，结合2D/3D CNN构建的多级解码器(MLD)显著提升检测性能，为自动驾驶等安全关键场景提供新方案。

　　

在智能视觉系统飞速发展的今天，透明物体检测(TOD)仍是计算机视觉领域的"阿喀琉斯之踵"。玻璃护栏、车窗等日常透明物体(TO)具有三大致命特性：缺乏固有视觉特征、易与环境光混淆、边界极薄。现有基于RGB图像的MirrorNet等方法常将透明物体误判为背景，而新兴的偏振成像技术虽能捕捉物体表面偏振特性（如线偏振度DoLP和偏振角AoP），但存在多尺度特征融合不充分、三维偏振特性建模缺失等瓶颈。

合肥工业大学研究团队在《Optics》发表的研究中，创新性地提出FuseISP框架。该研究采用商用分焦平面(DOFP)偏振相机采集RGBP-Glass数据集（含4510组RGB强度、AoP和DoLP对齐图像），通过层次特征提取器分离高低频特征，设计强度-光谱偏振混合调制器(ISPMM)实现跨模态交互，开发层次特征融合模块(HFF)建立多尺度关联，最终通过融合2D CNN（提取局部空间特征）和3D CNN（建模S₀/DoP/AoP三维关系）的多级解码器(MLD)实现端到端检测。

关键技术方法包括：1)使用微偏振阵列(MPA)相机获取四向偏振图像(I_0°/I_45°/I_90°/I_135°)并计算斯托克斯参数；2)构建包含ISPMM和HFF的双路径特征融合网络；3)采用深度监督策略联合优化2D/3D CNN解码器。

【Description for polarization optics】部分阐明：通过斯托克斯矢量(S₀,S₁,S₂)计算DoLP和AoP，其中S₀表示总光强，S₁/S₂表征线性偏振分量，为网络提供物理意义明确的输入特征。

【Experimental settings】显示：在RGBP-Glass数据集上，FuseISP的mIoU达到87.3%，较基准方法Polarized CNN提升9.8%。消融实验验证ISPMM使特征交互效率提升21%，而HFF模块通过跨层次连接使边界检测F1-score提高6.2%。

【Conclusion】指出：该研究首次实现强度信息与偏振参数(S₀/DoP/AoP)的层次化联合建模，MLD模块通过3D卷积捕获的偏振间(intra-polarization)关系使误检率降低34%。成果为水下导航、工业质检等安全敏感场景提供可靠解决方案。

Xueqiang Fan等作者在讨论中强调，该方法突破传统RGB检测的物理局限，通过偏振光学特性建立物体材料的"光学指纹"。未来工作将拓展至动态场景和多光谱偏振融合领域。该研究获国家自然科学基金(61775050)支持，所有计算在合肥工业大学高性能计算平台完成。