《Advanced Science》:Passive Color Imaging Through Macroscopic Strong Scattering Media
编辑推荐:
去散射成像(De-scattering imaging)旨在从散射图像中恢复目标信息,因其在多个领域的广泛应用而日益受到关注。雾和浑浊水体等散射介质会严重降低成像质量,从而阻碍对目标识别所需重要细节的准确恢复。现有方法难以在实际复杂强散射介质中保持去散射性能。
去散射成像(De-scattering imaging)旨在从散射图像中恢复目标信息,因其在多个领域的广泛应用而日益受到关注。雾和浑浊水体等散射介质会严重降低成像质量,从而阻碍对目标识别所需重要细节的准确恢复。现有方法难以在实际复杂强散射介质中保持去散射性能。为应对这一挑战,研究人员提出了一种sCMOS阵列探测系统(CISA),该系统采用颜色通道模拟(color channel simulation)与独立曝光调节机制。该系统显著扩展了原始散射数据的动态范围并提升了信噪比(SNR)。通过引入被动彩色去散射流程(PCDP),研究人员在强散射条件下实现了保持目标色度身份(chromatic identity)的高质量重建。户外雾天条件下的实验证明了该系统在恢复目标形状与颜色方面的有效性。水产养殖环境中的进一步验证表明该方法的泛化能力。该工作为挑战性散射条件下的户外被动成像应用开辟了道路。
**研究背景与问题**
去散射成像旨在从透过散射介质采集的图像中恢复目标信息,在交通、遥感、应急救援、城市安全和深海探测等领域具有广泛应用,因而成为光学成像的重要研究方向。典型的宏观尺度动态散射介质(如雾)常在恶劣天气下出现,目标光信号经介质时发生多次散射,光子能量迅速衰减,目标信息被噪声淹没,人眼几乎无法分辨细节。与泡沫、毛玻璃等静态介质相比,动态介质的时间变化特性进一步增加了去散射的复杂度。现有方法大体分为主动与被动两类:主动方法(时间门控成像、主动偏振与偏振激光雷达、毫米波与太赫兹成像等)依赖激光脉冲与高性能器件,但在复杂环境下稳定性不足,且在强散射中需提高激光功率而增加人眼风险,单一或少数波长也难以恢复目标的光谱与颜色特性;被动方法包括图像增强、手工先验(如暗通道先验DCP、饱和通道先验SLP、ROP+等)与深度学习方法,以及偏振成像、多光谱融合、角度选择器件等硬件进展,但在强散射条件下接收到的目标信号有限,性能仍需提升。研究人员指出两大障碍:一是强散射场景本身复杂,目标信号极弱,环境光照变化与镜头缺陷会显著降低实际去散射性能;二是极端散射条件研究不足,多数方法在强散射下图像质量显著退化;同时现有方法难以在强散射下正确恢复目标的彩色信息,而颜色对快速识别目标(如交通标志、海上或森林救援)至关重要。为此,研究人员开展本项研究,提出适用于真实强散射介质(含浓雾与浑浊水体)的被动彩色成像框架,成果发表于《Advanced Science》。
**关键技术方法**
研究人员从辐照度角度分析散射成像模型,构建由八台高比特深度sCMOS相机(Teledyne Photometrics Prime BSI,2048×2048像素,16位输出)配定制红、绿、蓝带通滤光片组成的CISA探测系统,并以一台CMOS彩色相机作对比,按RGGB/RGGB/Color的3×3构型排布,各sCMOS作为模拟颜色通道独立调节曝光并同步触发;数据经多帧融合与相机视场标定矩阵生成模拟Raw图像,再经图像信号处理器(ISP)转为RGB散射图像;随后提出PCDP流程(散射感知光照补偿、HSV解耦处理、自适应明度重建)。户外实验于2024年4—5月在中国秦岭山谷(海拔约1400 m、观测距离700 m)开展,融合精度测试在太平国家森林公园(最远1000 m)进行,并搭建小型化CMOS相机阵列在浑浊养殖水体中验证泛化性。
**研究结果**
2.1 辐照度成像模型:研究人员建立量纲一致的辐照度模型,将传感器接收辐亮度近似为目标弹道项与路径辐射项之和,弹道能量随传播距离指数衰减;考虑镜头离轴衰减(暗角)与灰尘等缺陷,以及散粒噪声主导的噪声模型。由此推导出受全阱容量与ADC位深限制的光学厚度(OT)上限及信噪比上限不等式,结论为:光学厚度主要由系统位深决定,散射图像信噪比受等效光子容量与弹道分量比例约束;被动系统难以通过硬件提升弹道分量,故提高成像位深与等效光子容量是提升去散射性能的可行途径,为系统设计与算法开发提供指导。
2.2 颜色空间特性:研究人员分析HSV空间在散射场景下的性质,发现无噪声时色相(H)域信息得以保留、饱和度(S)域对比度得以保持、明度(V)域信息因散射迅速衰减;考虑光子噪声后,强散射下H与S域信息逐渐被噪声淹没,而V域在全部通道中保持最高信噪比。据此将强散射去散射问题归结为H域去噪与S、V域联合调控增强的任务。
2.3 CISA探测系统:研究人员指出,阳光光谱能量峰值与探测器光谱响应峰值均集中于绿光波段,传统CMOS受全局统一曝光机制约束,绿通道满阱时红、蓝通道欠曝,加之去马赛克过程合并双绿通道降低绿通道噪声,进一步拉大信噪比差距,限制颜色恢复。所设计的CISA由八台配定制RGB带通滤光片的sCMOS组成,各相机作为模拟颜色通道独立可调曝光并同步触发,组合视场约0.6度,在1000 m处融合尺寸误差小于2 cm、视角偏差小于0.3%。室内雾室对比实验表明,统一曝光下CISA单成像单元显著优于CMOS相机,独立曝光机制又优于统一曝光机制,证明传统曝光机制下R、B通道低信噪比制约了高质量恢复。
2.4 数据处理细节:研究人员描述了数据采集与处理流程:各相机采集多帧图像,通过自适应调节曝光参数使各颜色通道接近满阱,经多帧融合、相机视场标定矩阵空间对齐、跨光谱与视点融合及ISP处理生成RGB散射图像。PCDP包含三步:散射感知光照补偿(结合Legendre多项式拟合与平场校正,利用预标定的系统照明场分布,缓解离轴偏差与灰尘等缺陷,使图像近似大气散射模型ASM);HSV解耦处理(以融合V域引导的边缘保持滤波去噪,经HSV重分布实现色彩校正与平衡,再基于Retinex理论增强V域);自适应明度重建(保持H域不变,利用低光条件下Retinex算法的像素增益系数矩阵同时增强S与V域)。
2.5 实验结果:研究人员在秦岭山区(海拔约1400 m、距离700 m)开展户外去雾实验。对约1 m直径的交通标志,在能见度由700 m降至200 m的多种散射条件下,传统高性能CMOS相机难以恢复目标特征;CISA配合原算法可完整保留目标信息;进一步采用PCDP后,即使雾的光学厚度达到最大值10.5,纹理细节与颜色仍被有效恢复,且在四种光学厚度下色相角偏差最小、色度保持最佳。对山石前三位身着不同颜色服装的志愿者构成的复杂救援模拟场景,PCDP仍能忠实恢复纹理与颜色信息;叠加COCO预训练YOLO26m检测器后,仅CISA+PCDP输出能使检测器以高置信度定位全部目标,而CMOS基线在强散射下多数目标无法检出,验证了系统的实用价值。
**讨论与结论**
讨论部分指出,研究人员基于面向强散射场景的精细化辐照度理论开发了CISA探测系统,可生成高质量模拟Raw图像,结合基于颜色空间特性分析的去散射流程PCDP,实现了高质量彩色重建的被动去散射。与门控或单光子相机系统相比,该系统不依赖主动光源、无需长时间扫描,成像机制类似传统CMOS相机,可简便可靠地检测目标纹理与颜色信息,且与多数现有去散射算法兼容,增强了精密仪器在恶劣自然环境中的适应性与恢复能力。系统不依赖传统ASM,而以综合光场校正获得类似ASM的图像信息分布,聚焦信噪比最高的照明域优化整体恢复,补偿H域噪声并恢复S、V域,过程可解释性强、恢复性能稳定。系统分辨率评估表明,在达到光学厚度极限前,去散射目标分辨率约为2 cm;镜头离轴像差与灰尘的影响随散射增强而显著,凸显光场综合校正模块的必要性;消融实验显示流程各步骤均不可或缺。泛化性评估中,研究人员将流程移植到小型化CMOS相机阵列,在养殖鲤鱼模拟的浑浊水体中,于明、暗两种照明下对彩色物体与鱼进行测试,PCDP较现有算法优势显著,并支持视频率采集与离线重建以观测动态目标。局限性在于:大深度范围去散射需精确的相机融合矩阵,难以同时精确观测不同深度的多个目标,但相机阵列的多视机制可望通过调整融合矩阵参数缓解;动态目标重建中多帧融合在噪声抑制与时间保真度间存在权衡,快速运动可能导致鬼影或运动模糊,未来需运动补偿配准与自适应融合窗选择。此外,系统可配置多光谱波段滤光片,为高光谱成像奠定基础,在遥感、监视、农业和水文等领域具有潜在应用。
研究结论(翻译):在面向强散射场景的精细化辐照度理论基础上,研究人员开发了CISA——一种由sCMOS阵列组成、能够生成高质量模拟Raw图像的新型探测系统。通过结合PCDP——一种基于此类环境下颜色空间特性分析的去散射流程,研究人员实现了具有高质量颜色重建的被动去散射。这一进展为强散射条件下的真实世界成像应用开辟了道路。