潜在焦点软融合：面向多焦点图像堆栈的焦点推理与源像素合成解耦

《Neurocomputing》：Latent-focus soft fusion: Decoupling focus reasoning from source-pixel synthesis for multi-focus image stacks

　　

• 图像融合中聚焦推理与源像素合成相分离。
• 掩码竞争产生全焦段图像中可解释的权重。
• 配对对照将学习式评分与固定聚焦度量分离开来。
• 测试涵盖25,773个真实光学采集的白细胞全焦段图像堆叠。
• 轨迹训练的鲁棒性效应呈混合、依赖于条件。

**引言**

多焦图像堆叠融合从不同焦平面上获取的观测数据重建全清晰图像。当单次曝光无法使整个场景保持清晰时，它扩展了有效景深[1]、[2]、[3]。核心挑战不仅仅是选择一帧清晰的图像。模型必须在多个焦层上分配空间变化的可靠性，同时在堆叠大小和焦平面覆盖范围变化时保持稳定性。

我们的学习实验使用基于NYU Depth V2、DIODE和DUTS-TR数据源派生的合成全焦段图像。来源审计发现，传统NYU测试集与准备好的NYU源池存在重叠。因此，我们仅保留NYU作为诊断用途，并将其排除在独立平均值、排名、统计检验和泛化声明之外。独立证据来自五个非NYU基准数据集和一个独立公开的光学采集白细胞全焦段数据集。

现有方法遵循三种广义计算策略。手工设计的聚焦度量保留了显式的源图像路径，但在无纹理、噪声或错位区域可能失效[4]、[5]。基于学习的图像对方法改进了特征表示，但将其扩展到堆叠可能会累积伪影、引入顺序效应并增加计算量[6]、[7]、[8]、[9]、[10]、[11]。单次处理模型在单次通过中处理完整堆叠，避免了反复的成对融合[12]、[13]。

单次处理消除了迭代融合，但它暴露了一个关键的表示选择。直接RGB预测可以生成内容而不涉及显式的源混合，使得聚焦选择错误难以与合成错误区分。焦深和焦索引模型使用序数坐标替代。该坐标可能编码有用的光学结构，但这也使得合成表示依赖于堆叠索引。悬而未决的问题是：堆叠顺序是否应该定义功能性的融合表示。

本文探讨是否可以推断空间变化的跨帧可靠性，而不将序数索引图作为合成变量。我们将全焦段建模为掩码观测集。共享评分器估计逐帧证据，集合级竞争对这些评分进行归一化，所得权重直接混合观测到的源像素。在联合帧和掩码置换下，权重是置换等变的，融合的RGB输出是置换不变的。期望聚焦索引仍作为顺序相对的诊断量，而非度量深度估计。

潜在聚焦软融合（LFSF）通过共享评分器和掩码堆叠级softmax实现这一原则。冻结的潜在特征提供结构上下文，而局部对比度提供显式的锐度线索。它们的归一化权重直接混合观测到的RGB像素，使结果既是完整的LFSF预测，也是保留源信息的锚点。由于评分器在帧间共享，同一公式支持可变数量的有效观测。

我们进一步研究了LFSF锚定的整流流（RF）模块作为可选的鲁棒性扩展。它接收堆叠上下文和可靠性线索，但排除了LFSF锚点的重复RGB条件捷径。受控问题是：流条件细化相对于参数匹配的直接残差细化器，是否改变了对扰动的保持。因此LFSF-RF定义了一个第二个工作点，而非替换LFSF作为主要融合机制。

两个工作点均在五个独立基准的230个匹配场景上进行评估[14]、[15]、[16]。相对于已发布的StackMFF-V2对照，它们的描述性等数据集宏PSNR差异为LFSF的+1.55 dB和LFSF-RF的+3.72 dB；在联合Holm校正后，两个宏比较均不显著（）。StackMFF-V3预印本作为已发布权重的参考单独报告。消融实验隔离了局部对比度、冻结潜在特征和软竞争的贡献。置换和压力测试区分了顺序稳定性与鲁棒性，而匹配的RF-对照隔离了平均轨迹保持效应。RF在Mobile Depth上降低了干净PSNR，并不改善每个数据集、指标或严重绝对质量结果。NYU Depth V2仍作为源重叠诊断使用，并排除在独立泛化声明之外[17]。

图1总结了迭代成对融合、聚焦索引回归以及本文提出的将潜在聚焦推理与源像素合成相分离之间的概念区别。

本文的主要贡献总结如下：

• 我们将多焦堆叠融合建模为先进行掩码集合级聚焦推理、再进行源像素合成。既不使用学习式RGB生成，也不使用序数索引图作为功能性合成表示。
• LFSF通过共享评分和掩码堆叠级竞争，结合冻结的潜在特征和局部对比度。所得权重既合成融合图像，又暴露聚焦诊断信息。
• 我们引入了一个可选的LFSF锚定RF扩展，并将其与参数匹配的直接细化器以及匹配的RF-对照进行比较。后者仅改变训练时的轨迹采样，用于测试轨迹特定的鲁棒性。
• 协议分离的评估涵盖五个独立基准、25,773个公开真实白细胞堆叠、已发布模型的堆叠基线、配对统计、消融实验、三个训练种子、置换测试、轨迹对照、压力测试和完整系统的堆叠大小缩放。

**片段摘录**

**手工设计的聚焦度量与源选择**

传统多焦融合从局部线索估计聚焦质量，然后通过选择、变换域规则或多尺度混合结合源图像[1]、[2]、[3]、[4]。这些方法保留了显式的源图像路径，因为观测内容直接决定融合结果。然而，固定的聚焦算子可能在无纹理区域、深度边界附近以及在噪声或错位条件下不稳定。局部或成对决策也可能需要后处理来...

**问题形式化**

给定一个多焦堆叠，目标是恢复全清晰图像，同时保持输出锚定到观测到的源内容。输入堆叠记为，其中是第个焦平面捕获的图像。由于堆叠大小在数据集间变化，一个二值掩码表示第帧是否有效。目标全清晰图像记为。理想的多焦堆叠融合模型应该在每个空间位置估计哪个源帧可靠，并合成最终的...

**实验**

所提出的框架从三个互补的角度进行评估：独立基准性能、LFSF作为源保持融合锚点的作用，以及RF细化阶段的鲁棒性价值。因此实验包括数据集间比较、配对统计、消融实验、可解释性面板和压力测试。NYU Depth V2作为源重叠诊断单独处理，并排除在所有独立泛化声明之外。

**讨论**

本文的主要发现是，多焦堆叠融合可以将学习式聚焦评分与像素合成相分离。LFSF从冻结的潜在表示和局部对比度线索估计空间聚焦可靠性，但通过观测堆叠的像素域软融合生成全清晰图像。这种设计使决策过程可检查，同时保持最终合成与源图像的直接联系。

所提出的公式与近期的一次性...

**结论**

潜在聚焦软融合在多焦堆叠融合中分离了学习式聚焦推理与图像合成。共享的逐帧评分和掩码堆叠级竞争估计空间聚焦权重，而融合图像直接由观测到的源像素构建。这种分解提供了显式的源路径，支持可变堆叠大小，并在不使用学习式RGB解码器或聚焦索引图进行RGB合成的情况下暴露可解释的聚焦分配。

跨越五个独立的...

**CRediT作者贡献声明**

Hao Li：撰写—审稿与编辑，撰写—原始草稿，可视化，验证，监督，软件，项目管理，方法论，数据整理，概念化。Shengjiang Zhang：撰写—审稿与编辑，撰写—原始草稿，验证，项目管理，方法论，数据整理。Kang Yao：验证，监督，调查研究，形式化分析。Ting Dong：监督，项目管理，调查研究，数据整理。Yang Zhang：撰写—审稿与...

**生成式AI和AI辅助技术在写作过程中的声明**

在本文的准备和修订过程中，作者使用了OpenAI ChatGPT和Codex来支持手稿组织、实质性语言编辑、LaTeX格式、一致性检查，以及执行作者指定的验证和可重复性检查。在使用这些工具后，作者审阅并编辑了受影响的内容，独立地对照基础研究数据、代码和固定检查点验证了输出结果，并对...承担全部责任。

**利益冲突声明**

作者声明，他们没有任何已知的竞争性经济利益或个人关系可能影响本文所报告的工作。

**致谢**

本工作得到了苏州重点创新项目[项目编号：SSD2024013]和中国科学院青年科学家基础研究项目[项目编号：YSBR-128]的支持。资助方在研究设计、数据收集与分析、发表决策或手稿准备中未发挥作用。

Hao Li目前在中国科学技术大学（中国科技大学，合肥）攻读硕士学位，并在中国科学院苏州医工所（SIBET，CAS，苏州）进行研究。他的主要研究领域包括计算机视觉、多焦图像融合、计算成像和基于深度学习的图像处理。

Hao Li | Shengjiang Zhang | Kang Yao | Ting Dong | Yang Zhang | Weiwei Fu