编辑推荐：
针对移动细长物体（moving elongated objects）的图像拼接方法，需同时满足高拼接质量、高效推理及对目标物体外区域干扰的鲁棒性。现有方法难以兼顾上述要求。本文提出一种面向移动细长物体的半监督深度图像拼接方法，框架含半监督配准与无监督重建两阶段
针对移动细长物体（moving elongated objects）的图像拼接方法，需同时满足高拼接质量、高效推理及对目标物体外区域干扰的鲁棒性。现有方法难以兼顾上述要求。本文提出一种面向移动细长物体的半监督深度图像拼接方法，框架含半监督配准与无监督重建两阶段。半监督配准阶段采用半监督光流估计网络预测输入图像间双向光流（optical flow），并引入目标中心空间变换模块剔除移动物体外区域，将输入扭曲至统一平面。无监督重建阶段采用多尺度融合模型提升拼接图像质量，并设计基于多尺度特征表示的重建目标函数。针对该任务缺乏可用数据集的问题，研究人员构建MEOIS-D合成通用评测数据集与Container-D真实场景数据集。大量对比实验与消融研究证实了方法的有效性。
研究背景方面，移动细长物体指具有长形状因子且能运动的实体，广泛存在于工业与交通场景，如卡车、轨道车辆、集装箱、飞机等。对这类物体进行完整视觉采集，对故障诊断、损伤评估等下游任务至关重要。然而此类物体长度大、运动速度不稳定，单次拍摄难以获取全貌，必须依赖图像拼接融合多帧局部图像。现有全景拼接方法基于单应性（homography）估计，假设全图为拼接目标，前景遮挡与背景杂波会严重干扰匹配，直接将全景方法用于移动物体会把相机等前景伪影保留在结果中。已有移动细长物体拼接方法多基于传统特征匹配与多帧间位移估计，对成像角度敏感，存在透视畸变时变形明显，且数十帧的計算成本较高。因此需同时解决前景背景干扰、透视畸变下的对齐、以及少帧高效配对拼接三类问题。论文发表于《Sensors》。
关键技术方法上，研究人员提出两阶段框架：先以半监督光流网络估计双向光流，光流网络在FlyingChairs与FlyingThings3D预训练后，用Sintel有标签数据与MEOIS-D、Container-D无标签数据半监督微调，目标函数由有监督损失与无监督Charbonnier重投影损失加权组成；随后设计目标中心空间变换模块，由光流得物体掩码（mask），粗扭曲保留冗余边界、精扭曲用扩展掩码滤除不可靠映射区，将两图对齐至统一平面并剔除非物体区域；最后以U-Net式重建网络做无监督多尺度重建，编码器含YOLOv5的Focus与C3层，解码器出多尺度特征经HR形变模块得高分辨率拼接图，目标函数含低像素感知损失、接缝（seam）损失、高像素感知损失与内容一致性损失。样本队列来自Blender合成的MEOIS-D（六类物体、三种光照、三档重叠度，5097对）与上海港闸口监控集装箱卡车Container-D（5000对，三光照三重叠）。
研究结果部分，第4节实验设置中，配准阶段对比SURF+RANSAC、SURF+MAGSAC、UDIS、CA-UDHN、SMURF、FlowSupervisor等，以PSNR与SSIM为指标，在MEOIS-D不同重叠度、光照、物体类型及Container-D上，本文方法均最优或次优，传统方法因匹配对不足或单应矩阵无效需跳过样本。重建阶段引入UDIS重建头与MobileSAM分割补传统方法短板，主观以error/failure/success计，客观用PIQUE、NIQE、DeQA无参考质量评价；结果显示学习方法鲁棒性优于传统，本文在成功率和无参考指标上领先，可视化表明纹理更丰富、边缘更锐、伪影更少。速度实验中，本文因单向推理双向光流且无需额外分割，总推理时间低于SMURF、FlowSupervisor及含MobileSAM的传统方案。消融实验分两块：配准上对比纯监督预训练与纯无监督微调，半监督组合在PSNR/SSIM上最佳；重建上去除多尺度结构后PIQUE与NIQE变差，证明多尺度融合对质量提升必要。
讨论与结论翻译部分，研究人员指出该方法将半监督光流配准、目标中心空间变换与无监督多尺度重建结合，配准抑制前景背景干扰并将物体映至统一平面，重建经多尺度融合与含内容、接缝、感知、一致性约束的目标函数产出高质量拼接图。在合成MEOIS-D与真实Container-D上，相较传统与已有学习方法，本文方法在重叠区外观一致性、重建质量与流水线总推理时间上表现更优。未来工作将面向连续多帧拼接、配准与重建更紧耦合及工业部署加速。
