UMF-Stomata：一种面向显微气孔表型分析的无监督多焦点图像融合框架

《Plant Phenomics》：UMF-Stomata: An Unsupervised Multi-Focus Fusion Framework for Microscopic Stomatal Phenotyping

　　

气孔性状是评价植物生理、胁迫响应及作物育种潜力的关键显微表型。然而，活体高倍显微成像常受浅景深（shallow depth of field）制约，导致不同空间位置出现显著离焦模糊，难以在单帧图像中捕获清晰完整的气孔结构。多焦点图像融合（multi-focus image fusion, MFIF）提供了实用方案，但现有方法多依赖监督训练、配对数据或手工规则，限制了其在真实农业显微场景中的使用。研究人员提出一种无监督多焦点融合框架，用于重建全聚焦显微气孔图像。该方法集成二维特征提取与三维跨焦平面建模，同时捕获空间细节与焦平面间互补信息；引入最大响应引导的空间门控模块（max-response-guided spatial gating module），增强聚焦区域并抑制离焦响应；基于感知特征与小波高频信息的双锐度先验（dual sharpness priors）实现像素级伪监督学习，无需全聚焦真值。模型还预测概率化焦平面体素以实现可解释重建。在玉米多焦点数据集上的实验表明，该方法在熵（EN）、边缘信息保留（QAB/F）、Chen–Blum对比度（QCB）及融合视觉信息保真度（VIFF）分别达7.43、0.21、0.41、1.01，表现优异或具竞争力。消融实验证实了三维建模、空间门控与双先验锐度监督的有效性。更重要的是，将融合图像作为YOLO类气孔实例分割模型输入时，分割精度最佳，mAP50与mAP50-95分别达0.9937与0.9121。基于分割掩码提取的表型测量与人工标注高度一致，气孔计数决定系数R2=0.97。结果表明该框架可作为农业自动化显微气孔表型分析的有效前端模块。

研究背景方面，气孔是叶片表皮调节气体交换与蒸腾的关键显微结构，其计数、面积、周长、长轴与短轴等性状是作物抗逆筛选与遗传育种的重要指示。随着高通量植物表型组学发展，从显微图像快速准确提取气孔性状成为重要课题。但高倍物镜景深极浅，且活体叶面非平面呈三维起伏，单帧曝光无法获得全聚焦图像，离焦模糊随放大倍数加剧，严重阻碍后续自动化分析。现有商业扩展景深软件多绑定专用硬件与闭源平台，算法细节难复现；传统空间域与变换域多焦点融合（MFIF）依赖手工锐度度量与融合规则，对噪声敏感且缺乏全局一致性；深度学习融合方法大多需全聚焦真值监督，或采用成对迭代融合累积误差，引入局部模糊与伪影。更为关键的是，图像融合本质是表型分析的前处理，下游基于深度学习的分割模型对清晰度与结构保真极度敏感，劣质融合会引发漏检、误检与测量偏差。因此，亟需高质量无监督融合框架打破限制下游自动化表型精度的视觉瓶颈。

研究人员以玉米为主训练集、小麦为独立测试集，并补充棉花、大豆、荞麦、水稻少量样本做零样本泛化验证，构建了跨单子叶与双子叶的多作物高分辨多焦点气孔显微数据集（每栈21张焦平面，玉米500×、小麦200×，Sunny DMS1000超景深显微镜Z轴栈采集，2800×2100像素）。在此基础上提出端到端无监督多焦点融合网络UMF-Stomata，并用YOLOv11实例分割验证下游价值。主要关键技术方法包括：共享二维卷积编码器逐焦平面提取局部空间特征，沿焦平面维取最大响应作跨焦全局引导并拼接；将特征重排为三维张量后，经最大响应引导的空间门控模块（3D卷积+Sigmoid调制）抑制离焦；三维解码器恢复分辨率并输出焦平面代价体，softmax得概率权重建全聚焦图；无监督锐度建模联合冻结VGG浅层感知响应与离散小波变换（DWT）高频子带能量生成像素级伪焦点掩码；损失函数由像素重建、SSIM、梯度一致性及焦平面概率交叉熵构成，全程无需全聚焦真值。样本队列即上述自采多作物显微栈，玉米480栈训练验证测试8:1:1，其余作物仅测试。

研究结果部分，3.3融合性能评估中，定性上在玉米复杂离焦下传统NSCT、CVT出现振铃与边界断裂，深度学习U2Fusion、SDNet、SwinFusion、MFF-GAN普遍全局发糊，UMF-Stomata保留连续气孔轮廓与锐边；定量上玉米集EN=7.43、Q_AB/F=0.21、Q_CB=0.41、VIFF=1.01均最优或次优，小麦集Q_AB/F=0.25、Q_CB=0.53、VIFF=0.92亦领先。3.4消融实验表明，去空间门控VIFF降至0.97，去三维卷积MI由9.26降至8.49，去VGG先验仅留DWT先验MI跌至7.74、VIFF 0.84，去DWT先验VIFF 1.00仍高但稍逊完整版，全模块组合取得全部指标最佳，证实三维跨焦建模、最大响应门控与双先验伪监督具协同性。3.5下游分割与表型中，以各方法融合图喂入专家标注超景深图预训练的YOLO11x-seg，UMF-Stomata输入下达mAP50=0.9937、mAP50-95=0.9121、Recall=0.9758，优于DSIFT次优组的0.9847/0.8749，MFF-GAN等深度学习基线因伪影致mAP50仅0.27；基于掩码提取气孔计数、面积、周长、长、宽、长宽比与人工测量比对，计数R²=0.97，RMSE低，满足农艺精度。

讨论部分，4.1计算效率显示每栈21图平均耗时约5.8秒，较SwinFusion快约两个数量级，较SDNet快约四倍；4.2仅玉米训练的模型在水稻、大豆、荞麦、棉花零样本仍出清晰融合，证明学到通用锐度表征而非作物纹理过拟合；4.3正序、逆序、随机序输入下Q_AB/F与Q_CB不变，VIFF微浮动，源于网络不依赖序列位置而依赖局部锐度；4.4小麦同区11/21/31图输入视觉一致，证明任意栈长适应；4.5未来可嵌入自研显微镜、结合边缘计算便携田间部署、耦合无监督分割基础模型。

结论部分翻译：本研究针对高倍显微景深受限、单图难捕完整气孔结构的问题，提出无监督多焦点显微气孔融合与表型框架。方法直接建模多焦点栈，结合共享二维提取与三维跨焦交互避免迭代融合误差，引入最大响应空间门控与融合感知特征及小波高频的双锐度先验，在无全聚焦真值下抑制离焦并重建高质量图像。玉米集上EN 7.43、Q_AB/F 0.21、VIFF 1.01达最优或次优；下游实例分割mAP50 0.9937、mAP50-95 0.9121，表型提取与人工一致（计数R²=0.97）；消融与跨作物、变栈长、乱序实验共同证实框架稳定可扩缩，为农业显微多焦点融合及自动化气孔分割与高通量表型提供可靠数据基座。该文发表于《Plant Phenomics》。