《Journal of Sensor and Actuator Networks》：Photogrammetry–Polarimetry Fusion for 3D Structural Edge Extraction and Physics-Guided Classification
Mohammad Saadatseresht,
Hossein Arefi and
Fatemeh Torkamandi
编辑推荐：
本研究针对复杂材质与光照条件下结构边缘难以区分几何、材质、反射和光照等不同物理来源的挑战，提出了一种摄影测量-偏振成像融合框架。该研究将辐射测量、几何和偏振特征集成到一个噪声归一化的多模态表示中，并引入基于规则的分类方案，将边缘划分为几何、材料、镜面、光照和偏振驱动等具有物理意义的类别。在标准数据集上，边缘检测达到88.4%的精确率、95.5%的召回率和约0.92的F1分数。该框架为多模态三维感知引入了物理引导的语义传感层，有望提升摄影测量工作流中结构分析的鲁棒性和可解释性。
在现代数字文档领域，精确捕捉和分析物体的三维结构边缘（例如尖锐的脊线、浮雕边界、装饰线脚、裂缝和材料过渡）是理解文化遗产物体、进行损伤评估和风格分析的基础。然而，传统的基于多视角摄影测量或地面激光扫描的“标配”工作流，主要生成密集的表面几何和带有纹理的网格，而不是语义上有区分的结构线表示。这导致在复杂的、通常存在于文化遗产环境中的材质和光照条件下，从后期处理的图像、深度图、网格或点云中提取边缘变得极具挑战性。经典的基于图像强度或深度图的边缘检测方法，对光照、纹理和噪声非常敏感。图像梯度常常反映的是表面反照率变化或投射阴影，而非真实的结构不连续，这导致在低对比度区域产生误检或漏检。在三维几何数据中，平滑、正则化和不均匀采样又可能压制对结构解释至关重要的浅浮雕和精细脊线。最终，提取的边缘往往缺乏物理可解释性，混合了几何、材料和光照驱动的效应。
为了突破这些限制，来自伊朗德黑兰大学等机构的研究人员Mohammad Saadatseresht, Hossein Arefi 和 Fatemeh Torkamandi在《Journal of Sensor and Actuator Networks》上发表了一项创新研究。他们独辟蹊径，将偏振成像这一感知模态引入到传统的摄影测量流程中，提出了一个名为“摄影测量-偏振测量融合”的框架，旨在实现三维结构边缘的物理引导语义分类。偏振成像捕捉的是反射光的偏振状态，其变化遵循菲涅尔反射和次表面散射机制，依赖于表面法线、折射率和粗糙度。与强度梯度不同，偏振信号在很大程度上独立于表面颜色和细尺度纹理，因此提供了互补信息，有助于区分几何不连续性与由反射或材料变化引起的差异。该研究的核心目标不是改进已有的几何重建（如深度或法线估计），而是将几何重建与语义边缘解释分离开来，在不改变底层重建几何的前提下，引入一个物理引导的语义感知层，将异构的多模态测量转化为可解释的结构特征。
为了开展这项研究，作者们整合了多项关键技术。首先是多模态数据采集与配准：他们设计了一套实用的、基于数码单反相机的六次拍摄采集策略，在0°、30°、60°、90°、120°、150°六个偏振片角度下获取图像。这些图像与用于标准摄影测量三维重建的图像一同采集，确保严格的时空同步和多模态数据对齐。通过标准运动恢复结构和多视角立体重建流程，生成稠密点云、网格模型和深度图，作为后续分析的几何基础。其次是偏振特征提取：利用在不同偏振片角度下获取的强度图像，通过最小二乘法求解斯托克斯参数（S0, S1, S2），进而计算线性偏振度(DoLP)和偏振角(AoLP)。S0代表总强度，S1和S2分别表征水平/垂直和+45°/-45°的偏振偏好。这些偏振观测值提供了与表面物理行为相关的信息。第三是噪声归一化多模态特征融合：研究构建了一个统一的特征空间，融合了辐射强度(S0)、归一化偏振矢量梯度(|???|)以及基于深度（几何）的算子。关键创新在于对每种模态的特征进行噪声归一化处理，这使得后续能够进行与模态无关的阈值处理，提高了特征表示的鲁棒性和可比性。第四是物理引导的规则分类：基于从偏振行为和表面几何中推导出的物理动机约束，研究团队提出了一套基于规则的分类方案。该方案将检测到的边缘分配到几个可解释的类别中，包括几何折痕、材料过渡、镜面反射响应、光照效应和与纹理相关的伪影。最后是目标空间的语义重组：在图像空间完成边缘检测和分类后，通过多视角几何一致性检验，将语义标签传播到三维空间，从而在物体空间（三维空间）中重新组织已分类的边缘现象，形成带有语义标签的三维边缘点集，而无需修改底层重建的几何模型。
研究结果
- •
3.1 理论基础：偏振成像
该部分系统阐述了偏振成像的物理原理。光在表面反射后，其偏振状态会发生变化，这一变化遵循菲涅尔反射定律，并依赖于表面法线方向、折射指数、粗糙度以及光照-观测的几何构型。因此，偏振携带了关于表面行为的物理意义信息。斯托克斯矢量是描述部分偏振光偏振状态的数学工具，本研究主要关注其线性分量(S0, S1, S2)。通过在不同偏振片角度下进行强度测量，可以构建线性系统来估计斯托克斯参数。本研究采用六次测量（30°增量）方案，形成一个超定系统，提高了对噪声和微小对准误差的鲁棒性。从估计的斯托克斯参数可以进一步计算线性偏振度(DoLP)和偏振角(AoLP)，这两个量是后续特征提取和分类的基础。
- •
4. 提出的融合与分类框架
本部分详细介绍了所提出的方法流程。整个框架始于多模态数据采集，同步获取用于标准摄影测量的RGB图像和用于偏振分析的、在不同偏振片角度下的图像。接着进行三维重建与几何处理，通过SfM(运动恢复结构)和MVS(多视角立体)生成稠密点云、网格和深度图。在特征提取与融合阶段，分别从重建的深度图计算几何特征（如梯度），从RGB图像计算辐射特征（强度梯度），从多角度偏振图像计算偏振特征（DoLP, AoLP及其梯度）。所有这些特征被集成到一个噪声归一化的多模态表示中，以实现统一的、物理可解释的边缘响应。随后，基于物理约束的边缘检测与分类模块运用一系列规则，结合几何、辐射和偏振特征的相对强度与空间一致性，将边缘像素初步分类到不同的物理类别。最后，通过多视图聚合与目标空间组织，利用摄影测量生成的三维点对应关系，将多个视图中的边缘检测与分类结果融合，并在三维空间中生成带有语义标签的结构边缘点集。
- •
5. 实验评估与语义分析
研究在两个数据集上评估了所提框架：一个具有已知地面实况的校准几何物体（立方体与圆柱组合），以及一个真实世界的文化遗产雕像。在校准数据集上，定量评估显示，该方法在边缘检测任务上达到了88.4%的精确率、95.5%的召回率，F1分数约为0.92，证明了其高精度和完整性。定性结果清晰表明，偏振信息的引入显著减少了纯几何或纯辐射方法中常见的模棱两可情况。例如，在低纹理区域，强度梯度可能失效，而偏振梯度仍能有效指示几何边缘；反之，在高光或阴影区域，强度梯度会产生强烈响应，而偏振响应则可能很弱，从而帮助区分出非几何边缘。在文化遗产雕像上的应用进一步验证了方法的实用性。该方法成功地从复杂的表面中提取并分类了不同类型的边缘，如雕像衣褶的几何折痕、不同石材区块间的材料过渡、以及金属部件上的镜面高光边缘。多视图集成被证明能有效提高几何主导边缘的完整性，并通过跨视图一致性减少了虚假检测。
研究结论与讨论
本研究成功开发并验证了一个创新的摄影测量-偏振测量融合框架，用于三维结构边缘的物理引导语义分类。其主要贡献在于：第一，建立了一个基于偏振行为的、有物理依据的结构边缘分类体系；第二，提出了一个噪声归一化的多模态特征空间，实现了跨模态的阈值处理；第三，实现了在不改变重建几何的前提下，在目标空间中对语义分类边缘现象进行重组；第四，设计了一套与标准摄影测量工作流兼容的实用六次拍摄采集策略。
该研究的意义深远。从方法学角度看，它将偏振成像作为一种语义传感模态引入遗产文档领域，超越了其传统用于改善表面法线估计的角色，为多模态三维感知增加了一个物理引导的解释层。从应用角度看，该方法能够产出更具物理意义和可解释性的结构线模型，这对于文化遗产的数字化存档、保护状况监测（如精准定位裂缝和材料退化）、风格分析以及结构感知的可视化至关重要。获得的语义信息可以帮助保护者更深入地理解物体的构造和现状。此外，该框架可被视为一种感知层特征提取策略，能将异构测量转化为可解释的感知基元，这种表示对于日益发展的分布式和自主传感系统具有重要价值。
当然，研究也存在一些局限性和未来方向。当前方法依赖于基于规则的分类，可能无法覆盖所有复杂的现实场景。未来的工作可以考虑引入数据驱动的机器学习方法，以学习更复杂的特征与类别关联。此外，实验主要在受控或良好光照条件下进行，在极端光照或天气条件下的鲁棒性有待进一步验证。将框架扩展到动态场景或与其它传感模态（如高光谱成像）融合，也是富有前景的研究方向。
