通过校准的多次采集方法，克服一次性MSFA成像中的结构采样不足问题

《Optics and Lasers in Engineering》：Overcoming structural undersampling in one-shot MSFA imaging via calibrated multi-shot acquisition

　　让-伊夫·阿里斯蒂德·姚 | 卡库奇·让·阿伊克帕 | 马蒂厄·罗斯 | 皮埃尔·古通 | 蒂埃莫曼·科内
图像与人工视觉实验室（ImViA），勃艮第欧洲大学，法国第戎21000

摘要
使用多光谱滤镜阵列（MSFA）传感器进行的一次性多光谱成像会产生镶嵌数据，其中每个光谱带的采样都严重不足，这限制了空间细节和边缘连续性的重建。这种欠采样的一个基本后果是，每个光谱带中的大多数像素值必须通过插值来估计，而不是实际测量，从而引入了任何算法都无法完全消除的重建不确定性。为了克服这一结构限制，我们提出了一种校准的多次采集策略，在任何插值步骤之前增加每个光谱帽数量上实际测量样本的密度。该方法依靠通过纳米六足机器人以亚像素级机械精度执行MSFA传感器的受控整数像素平移来捕获同一场景的多个镶嵌图像。为了实现这种采集策略，我们设计、校准并使用连接到PENTA/CAVIAR MSFA相机的Alio纳米六足机器人进行了实验验证了一种像素级精确的位移协议。一种专用的校准程序建立了六足机器人的物理运动与图像域中测量的有效位移之间的对应关系。亚像素配准结果显示，0.32毫米的受控传感器位移相当于图像平面上大约一个像素的位移，这证实了所提出的校准框架的可靠性。经过校准的采集设置能够生成多个空间移位的镶嵌图像，其互补的采样模式加密了最初欠采样的光谱带。实验结果表明，随着校准采集次数的增加，空间连续性和细节保留能力逐步提高，与最先进的分块方法相比，系统地增加测量像素的数量明显优于基于插值的重建策略。

1. 引言
基于一次性MSFA（多光谱滤镜阵列）相机（如作为欧洲CAVIAR/PENTA项目一部分在ImViA实验室开发的相机）的多光谱成像技术，可以利用紧凑的光学架构同时采集多个光谱带。与传统RGB CFA传感器不同，MSFA系统依赖于更大的镶嵌模式，通常在一个快照中编码多个波长。虽然这种设计允许紧凑的多光谱采集，但会导致每个光谱带中的严重空间欠采样，使得插值成为实现全分辨率多光谱重建的不可避免的步骤。这种欠采样的直接后果是，每个光谱带中的绝大多数像素值不是通过物理测量获得的，而是通过空间或光谱相关性从相邻样本估计得出的。测量像素和估计像素之间的区别不仅仅是技术上的：它定义了仅靠算法改进无法克服的重建质量的基本上限。
早期的重建方法主要依赖于带内空间相关性[[3], [4], [5]]，通常是从CFA分块技术改编而来的。然而，当应用于MSFA数据时，这些方法由于每个带内像素的空间分布稀疏而存在内在限制，大大减少了局部空间信息的可用性。为了解决这个问题，引入了基于带间相关性的方法[[6], [7], [8]]，利用光谱冗余来细化插值结果。尽管这些方法提高了重建质量，但实际性能仍然有限。随后提出了迭代扩展[[9,10]]，通过重复更新实现逐步细化。尽管这些方法有效，但计算成本高昂且容易受到噪声积累的影响。此外，它们依赖于强烈的光谱相关性，而这种假设随着光谱带之间的光谱距离增大而变得越来越脆弱。
为了应对这些限制，Mihoubi等人提出了伪全色图像（PPI）的概念[[11,12]]，旨在与所有光谱带都有强相关性，同时保持高频空间内容。这种策略提高了重建图像中的边缘清晰度和空间过渡。然而，其性能严重依赖于伪全色图像本身的质量，因为任何伪影都会直接传递到最终重建中。已经提出了几种PPI改进方法，包括迭代细化[[13,14]]，以及最近的基于深度学习的方法[[15], [16], [17]]。虽然深度学习方法可以生成高质量的全色伪图像，但它们在不同MSFA配置下的泛化能力通常有限。
最近的深度学习方法进一步推动了MSFA分块的边界。Feng等人提出了一个镶嵌卷积-注意力网络（MCAN），通过位置敏感的权重共享利用了联合的空间-光谱相关性，实现了比传统方法显著改进[[18]]。更近期，他们引入了一个基于轻量级光谱注意力网络的无监督分块框架，解决了仅在合成数据上训练时监督方法在真实世界数据上表现不佳的关键问题[[19]]。在滤镜阵列成像的更广泛背景下，联合重镶嵌和去噪策略也显示出处理非标准CFA模式的强大潜力，例如在Quad Bayer传感器上的最新工作[[20]]所示。尽管取得了这些进展，所有上述方法仍然受到单次采集MSFA成像固有欠采样的根本限制，因为它们都在相同的稀疏输入上进行操作，无论重建模型的复杂性如何。
除了算法上的改进之外，这些限制突显了一个更根本的问题：无论采用何种重建策略，所有现有的单次采集方法都是在相同的欠采样输入上操作的，其中大多数光谱带像素都是估计的。因此，一次性MSFA采集中固有的空间采样不足构成了一个无法在重建阶段解决的结构性瓶颈。为了直接克服这一限制，提出了一种多次采集策略，在任何插值步骤之前物理上增加空间采样密度[[21]]。该原理包括在应用MSFA传感器的受控整数像素平移的同时，采集静态场景的多个镶嵌图像。通过在不同采集之间重新分配过滤后的像素，每个光谱带中实际测量样本的有效密度显著增加，减少了必须估计的值的比例，从而提高了后续重建的可靠性。在CAVE[[22]]和TokyoTech-31[[23]]等合成数据集上的初步研究表明了这一范式的理论潜力。然而，其实际应用严重依赖于生成和验证极精确位移的能力，理想情况下这些位移应对应于图像平面上的一个物理像素。
在这项工作中，使用了高精度的Alio运动六足机器人[[24]]来实现传感器的受控纳米级位移进行多次采集。一个核心挑战在于建立命令的机械位移与有效图像平面位移之间的精确可靠的对应关系。为了解决这个问题，我们提出了一种专用的实验校准协议，并结合了基于相位相关性的亚像素位移验证方法[[25]]。与空间域相关性或基于特征的配准技术不同，相位相关性利用傅里叶变换定理仅从相位信息估计位移，使其本身对光照变化、对比度变化和光度失真具有鲁棒性[[26]]。通过分析归一化的交叉功率谱，两次采集之间的相对位移在傅里叶逆域中表现为一个明显的峰值，从而可以准确估计整数和亚像素位移。对该框架的扩展证明了其通过分析峰值拟合和光谱插值实现高精度亚像素配准的能力[[27,28]]，使其特别适合验证实验性多次MSFA系统中的受控传感器位移。
在成像系统中存在多种实现亚像素位移的硬件解决方案。压电阶段提供纳米级精度和快速响应时间，但行程范围和负载能力有限[[29]]。传感器移动机构常见于消费级相机中，用于超分辨率和图像稳定，提供成本效益高的解决方案，但缺乏闭环位置反馈，难以在没有外部校准的情况下保证多次采集的亚像素精度[[30]]。相比之下，本研究中使用的Alio六足机器人结合了高精度（100纳米分辨率）和六个自由度以及稳定的承载能力，特别适合于优先考虑精度和重复性的实验室校准工作。这一选择与我们的工作重点——建立物理位移与像素位移之间的精确关系相一致。
区分目标位移和实现它所需的精度是很重要的。多次采集策略的目标是在图像平面上实现整数像素位移，以便连续采集的互补采样模式与MSFA网格完全对齐。然而，在实践中实现如此精确的整数像素位移需要具有亚像素级机械精度的定位系统。以4.5微米的像素间距为例，Alio六足机器人提供的100纳米精度大约相当于1/45个像素，确保命令的位移可以以可忽略的偏差执行。本文提出的校准协议建立了毫米级物理位移与有效图像平面位移之间的对应关系，亚像素配准验证确认残余定位误差远低于一个像素（±0.01像素，表2-5）。
通过基于Sobel梯度测量的定量评估[[31]]、无参考的感知质量评估以及与最先进分块方法的比较，本研究实验表明，增加实际测量的像素数量是提高重建质量的更有效策略，比细化缺失像素的估计更为有效。校准系统显著改善了空间连续性，减少了之字形伪影，并增强了多个场景的细节重建。
本文的主要贡献总结如下：
1. 一种专用校准协议，建立了六足机器人-传感器组件的物理位移与有效图像平面位移之间的准确关系。
2. 一种基于相位相关性的鲁棒亚像素位移验证方法，确保施加的整数像素传感器位移的准确性和重复性。
3. 对多次MSFA采集的实验评估，证明了在实际测量像素在重建质量方面始终优于算法估计的像素，并且与一次性成像和最先进的分块方法相比具有渐进的空间加密改进。
4. 一个适用于生成控制多光谱数据集以评估光谱-空间重建方法的实用实验框架。
本文的其余部分组织如下。第2节详细介绍了六足机器人-传感器组件的校准协议。第3节展示了在校准目标和额外代表性场景上的实验结果，以评估多次采集的影响。第4节讨论了结果，强调了空间加密效果、与参考方法的比较以及系统限制。第5节总结了本文并概述了未来的研究方向。

2. 实验校准协议
2.1. 材料和光学设置
实验使用了作为欧洲CAVIAR/PENTA项目一部分开发的多光谱相机，该相机配备了一个分辨率为1600 × 1200像素的高分辨率单色传感器[[1]]。传感器配备了一个4 × 4的多光谱滤镜阵列（MSFA），包含八个位于430、464、498、529、571、605、645和680纳米的光谱带。每个光谱带在阵列中出现两次，形成传感器上的均匀分布。滤镜上的像素间距为4.5微米。图1展示了MSFA上光谱带的空间分布。
图1. MSFA上的波长空间分布。
相机上安装了一个焦距为12.5毫米、光圈为F/1.3的TV镜头，以提供所需的放大倍数，同时保持足够的景深。相机镜头组件固定在一个Alio运动六足机器人上，该机器人可以实现100纳米精度的平移，确保在本研究中考虑的水平和垂直轴上的控制和可重复位移。设备垂直放置：镜头向下指向，而分光镜将场景以90°的角度重定向到传感器，形成了一个紧凑且机械稳定的设置，保持了光路的完整性。
观察到的场景由位于光学系统大约1米处的非均匀颜色块组成。照明由类似日光的光源（约5800 K）提供，为所有块提供均匀的照明。所有采集都使用800毫秒的固定积分时间、16位编码进行，并保存为TIFF格式，以保持动态范围并避免压缩伪影。
图2显示了包括六足机器人、相机和 Cameras lens 和分光镜在内的完整实验设置。
图2. 实验校准设置，包括六足机器人、装有 Cameras lens 的相机和分光镜。

2.2. 实验校准（启发式测量）
此次测量的目标是实验确定六足机器人的实际机械位移与MSFA传感器上测量的相应像素位移之间的关系。换句话说，它涉及根据算法1在校准使用的实验条件下，校准毫米（物理位移）和像素（图像位移）之间的转换。

算法1。实验校准

目标
使用参考像素的时间平均强度跟踪来确定多光谱传感器（MSFA）上一个像素的位移所对应的实际距离α（水平方向）和β（垂直方向），以确保对传感器噪声的鲁棒性。

输入
In(y,x)：来自MSFA传感器的第n个马赛克图像，n = 1, …, N
N：时间平均的采集次数（例如，N = 10）
Xr,Xc = Xr+4：相隔4像素的列索引（属于相同的波长）
Yr,Yc = Yr+4：相隔4像素的行索引（属于相同的波长）
Δstep：六足机器人的位移步长
Ttol：强度相等容忍度（例如，±1%）

输出
α：X轴上4像素的总位移
β：Y轴上4像素的总位移
Px：X轴上每个像素的有效位移
Py：Y轴上每个像素的有效位移

开始

第1阶段：选择参考像素
选择一个位于相同波长相邻像素之间具有显著强度变化的像素 (Yi,Xr)。
计算在没有位移的情况下，参考像素及其光谱邻居在N次采集中的时间平均强度：
Iˉir = 1/N ∑n=1/N In(Yi,Xr)
Iˉic = 1/N ∑n=1/N In(Yi,Xr+4)

第2阶段：水平校准
对于每次迭代k：
将六足机器人沿X轴移动Δstep的距离。
计算位置 Δk=k·Δstep 处参考像素的时间平均强度：
IˉrΔk = 1/N ∑n=1/N InΔk(Yi,Xr)
计算校准误差：
ε(Δk) = |IˉrΔk ? Iˉic|
如果 ε(Δk) < Ttol：
记录总位移 α=k*Δstep
继续移动直到差异超过 Ttol 以验证一致性，并保留 ε(Δk) 最小时的 α 值。
退出循环。
计算X轴上4个像素的总位移：Px = α/4

第3阶段：垂直校准
返回参考像素的初始位置 (Yi,Xr)
计算垂直轴上的时间平均强度：
Iˉri = 1/N ∑n=1/N In(Yr,Xi)
Iˉci = 1/N ∑n=1/N In(Yr+4,Xi)
在Y轴上重复第2阶段，将 Iˉir 和 Iˉic 分别替换为 Iˉri 和 Iˉci，并将 Δstep 应用于Y轴。
计算Y轴上4个像素的总位移：Py = β/4

为了获得精确的测量结果，我们对同一场景进行了10次采集并计算了它们的平均值，将其作为参考图像。这种平均化减少了随机噪声并提高了强度测量的稳定性，这对于可靠的校准至关重要。

在原始的单次采集方案中，强度跟踪标准对光子噪声和MSFA传感器固有的读出噪声敏感，这可能导致收敛条件的虚假触发。为了解决这一限制，采用了时间平均策略：而不是依赖于每个六足机器人位置的单次采集，而是捕获N幅连续图像而不进行位移，并使用它们的逐像素平均值作为强度估计。对于参考像素 (Yi,Xr) 及其光谱邻居 (Yi,Xr+4)，在任何位移之前，在N次采集中计算平均强度 Iˉir 和 Iˉic。同样，在每次六足机器人位置的增量 Δk 处，参考像素的强度被估计为N次采集的时间平均值 IˉrΔk。这种方法减少了噪声标准偏差，而不会引入由于在具有强度梯度的场景区域中对空间分布的像素进行平均而产生的空间偏差。N = 10 的值与第2.1节中描述的参考图像采集协议一致，确保了校准过程中的方法一致性。

图3显示了在多光谱马赛克图像上选定的感兴趣区域。在此区域内，选择了一个参考像素 (Y1, X1)。该像素在N = 10次采集中的时间平均强度为 Iˉir = 13，而属于相同光谱带的目标像素 (Y1, X5) 的强度为 Iˉic = 27。

下载：下载高分辨率图像（307KB）
下载：下载全尺寸图像

图3. 显示像素强度变化区域的马赛克样本。
在图中，颜色相同的像素对应于相同的波长，它们的数值代表从场景中捕获的强度。这种局部强度变化作为一个鲁棒的视觉参考，用于检测在六足机器人控制性地逐步移动相机时参考像素的强度是否与目标像素的强度匹配。

在实际成像条件下实施此协议，可以得出毫米/像素比的实际直接估计，同时考虑了镜头的光学效应和平移系统的机械限制。

在我们的实验设置中，这种校准重复进行了10次，每次选择马赛克图像的不同区域，以评估重复性并估计 Px 和 Py 的标准偏差。该程序得出的平均值为 Px≈Py≈0.32毫米/像素。

理论校准
为了获得六足机器人/传感器位移的理论测量值，我们建立了镜头焦距、场景-传感器距离和像素大小之间的关系。
使用薄透镜公式：
(1) 1/f = 1/d0 + 1/di
其中：
• f 表示镜头的焦距
• d0 表示镜头到场景的距离
• di 表示镜头到传感器的距离
横向放大率为：
(2) G = did0
如果一个像素的物理大小为 p（传感器像素的大小），那么它在场景上的投影大小 P 由下式给出：
(3) P = p * G = p * d0/di
从薄透镜公式中，我们有：
(4) di = f * d0 / (d0 - f)
因此：
(5) P = p * d0 / (d0 - f)
(6) P = p * d0 - f
使用 p = 4.5μm, d0 = 1000mm, f = 12.5mm，光学关系得出投影像素大小 P ≈ 0.356mm。我们的实验测量（通过移动六足机器人并跟踪强度进行校准）得出的平均值为 ≈0.32毫米/像素，这给出了约10%的相对间隙。这种间隙可以由实际效应（光学像差的存在、由于分束器引起的光学位移、六足机器人移动过程中引入的重复性和摩擦导致的机械公差）来解释，而理论计算假设了完美的光学条件和无像差。

表1显示了实验测量位移与理论六足机器人位移之间的对应关系。

表1. 实验测量位移与理论六足机器人位移之间的对应关系

实验位移（毫米）
理论位移（毫米）
像素位移（x4.5μm）
实验间隔（毫米）
理论间隔（毫米）
0 0 [0.000 – 0.160]
[0.000 – 0.180] 0.32
0.3 0.356
1 [0.300 – 0.340]
[0.338 – 0.383] 0.64
0.6 0.712
2 [0.620 – 0.660]
[0.698 – 0.743] 0.96
1 0.940 – 0.980]
[1.058 – 1.103]

2.3. 通过亚像素相位相关性验证实验校准
这种方法的目的是通过估计两次连续图像（位移前后获取的图像）之间的偏移量（亚像素精度）来验证六足机器人实验实现的传感器位移。这是基于相位相关性的原理，该原理对噪声具有鲁棒性，并且适用于测量两张图像之间的全局平移。为了估计重复性，我们在水平轴和垂直轴上分别移动相机0.32毫米后进行了10次初始采集和10次额外采集。

2.3.1. 相位相关性
考虑两张图像 I1(x,y) 和 I2(x,y)，使得：
(7) I2(x,y) = I1(x?Δx,y?Δy)
两张图像的傅里叶变换分别为：
(8) F1(u,v) = F{I1(x,y)}, F2(u,v) = F{I2(x,y)}
包含相位信息的归一化互功率谱定义为：
(9) R(u,v) = F1(u,v) · F2*(u,v) / |F1(u,v)·F2*(u,v)|
S(u,v) 的逆傅里叶变换产生相位相关函数：
(10) Cor(x,y) = Re(F^?1{R(u,v)}
R 的逆变换中的峰值表示图像之间的最大位移：
(11) (Δx,Δy) = Cor(x,y)
换句话说，测试所有可能的位移 (x, y)，并且对于每个位移，计算相关性以推断相似性。最佳解是位移 (Δx,Δy) 最大的那个。

2.3.2. 亚像素估计
为了提高精度，我们在最大峰值周围用一维抛物线局部近似相关表面。如果最大值位于索引 i0=(x0,y0)，则通过以下公式估计亚像素位移：
(12) δ = (Cor(i0?1) ? Cor(i0+1)) / 2[Cor(i0?1) ? 2·Cor(i0) + Cor(i0+1)]
因此，亚像素位移为：
(13) Δx_total = Δx + δx, Δy_total = Δy + δy

2.3.3. 通过相位相关性进行亚像素验证算法
为了系统地验证亚像素精度的实验校准，我们实现了一个相位相关算法，该算法分解马赛克图像为信息丰富的子区域，应用光谱域相关性，并通过抛物线插值细化位移估计。该方法确保了对噪声和局部强度变化的鲁棒性，同时在整个传感器区域提供了统计上有意义的验证。算法2显示了完整的过程。

算法2. 通过相位相关性进行亚像素验证
目标
以亚像素精度估计两次连续多光谱图像采集之间的实际位移，以验证六足机器人的物理位移与传感器上的光学位移之间的对应关系。

输入
I1,I2：位移前后获取的马赛克图像
Tmin：选择信息丰富瓦片的最低方差阈值
N：瓦片大小（例如，64 × 64像素）

输出
Δx,Δy：估计的平均位移（以像素为单位）

开始

第1阶段：将马赛克图像划分为瓦片
将图像 I1,I2 分划分为不重叠的子图像（瓦片）A 和 B，大小为 N×N。
拒绝方差低于 Tmin 的瓦片（无信息区域）。

第2阶段：瓦片预处理
将每个瓦片居中于零，并应用2D汉宁窗以减少边缘效应并改善峰值：
A?(x,y) = (A(x,y) ? Aˉ) · (hann(x) ? hann(y))

第3阶段：相位相关
使用公式(8)计算两个瓦片 A? 和 B? 的二维傅里叶变换
使用公式(9)计算归一化互功率谱
使用公式(10)计算相位相关

第4阶段：峰值检测和亚像素估计
在 Cor(x,y) 中识别最大值的位置 (x0,y0)
使用公式(12)用一维抛物线在每个方向上近似相关函数
使用公式(13)计算亚像素位移

2.4. 注册和重建质量的评估指标
2.4.1. 亚像素注册的指标
为了评估我们实验校准的质量，我们计算了以下指标：
相关峰值强度，由下式给出：
(14) Speak = |Cormax| / (Coroff? + 10^(-12))
其中 Coroff? 是所有非峰值相关系数的平均值，Cormax 是最大相关值。在分母中增加 10^(-12) 可以防止除以零。Speak 的高值（>10）表示估计可靠。
• 全局位移估计，由下式给出：
(15) Δx? = ∑i SiΔxi, Δy? = ∑i SiΔyi
σx = ∑i Si(Δxi?Δx?)^2, σy = ∑i Si(Δxi?Δy?)^2
低标准差表示良好的注册。

2.4.2. 均匀块上的变异系数
为了评估光谱均匀区域内的空间均匀性，我们在 ColorChecker Classic 目标的块上计算变异系数（CV）。由于这些块在均匀照明下已知具有空间均匀的反射率，因此任何重建光谱带中的空间变化都可以归因于重建伪影而不是场景内容。对于每个光谱带 b 和每个块 p，CV 定义为：
(17) CVb,p = σb,p / μb,p
其中 μb,p 和 σb,p 分别表示块 p 和带 b 内像素强度的平均值和标准差。较低的 CV 表示更好的空间均匀性和更少的重建伪影。这个指标构成了一种伪真实值评估，利用了 ColorChecker 块的已知均匀性作为隐式的空间参考。

2.4.3. BRISQUE 分数
使用盲/无参考图像空间质量评估器（BRISQUE）[32] 来评估感知图像质量，这是一个无参考的指标，用于量化局部图像统计数据与自然、未失真图像之间的偏差。BRISQUE 对平均减去对比度标准化（MSCN）系数进行操作，并捕获与所提出的多次拍摄策略针对的欠采样效果直接相关的感知失真，如振铃、块化和空间不连续性。BRISQUE 分数独立地为每个光谱带计算，并在各个带之间平均得出每次采集的全球质量估计。较低的 BRISQUE 分数表示更高的感知质量。

2.5. 实验协议概要图
图4展示了用于多次拍摄系统校准和验证的实验协议的概要图。该过程包括七个主要步骤。

图4. 多次拍摄系统的校准和验证协议的步骤。
前两个步骤用于准备设备和采集场景：一方面，设置包含 MSFA 相机、镜头、六足机器人和分束器的实验装置；另一方面，配置采集场景，包括数字 ColorChecker 块和照明系统。第三步是获取参考图像，作为比较的基础。
步骤4到6涵盖可控位移和实验评估的阶段。六足机器人执行预定义的纳米位移，在此期间进行多次连续采集。然后应用启发式强度跟踪协议来估计平移参数 α 或 β，这些参数对应于六足机器人在给定轴上四个像素的线性位移。这些参数允许推导出毫米/像素的位移比，并与理论值进行比较，以评估理想位移与实际测量位移之间的一致性。
最后，第7步通过相位相关性确保在亚像素尺度上对实验位移进行精细验证。获得的指标：平均位移 (Δˉ)、标准偏差 (σˉ) 和相关峰值的平均幅度 (Sˉpeak)，确认了校准系统的准确性和稳定性。因此，该图提供了多次拍摄设备的完整校准和实验验证协议的全面和结构化的概述。

2.6. 光谱组成和去马赛克化
在多次拍摄阶段结束时，每次获取的马赛克提供了由可控的整数像素传感器位移产生的补充空间信息。每个马赛克首先被分解为对应于单独波长带的光谱子图像。虽然这种光谱分解可以分离出特定波段的信息，但由于MSFA马赛克模式的存在，它产生的图像样本密度较低。由于每次采集在水平或垂直轴上相对于MSFA网格恰好偏移一个像素，因此连续采集得到的光谱子图像占据严格互补的空间位置。因此，融合过程直接是对像素进行交错，每个样本保留其物理采集的强度值，而不进行任何混合或平均处理。这一特性是所提出框架的核心：密集的光谱带仅包含实际测量的像素值，在组合阶段没有引入任何估算量。这种密集化减少了采样像素之间的平均距离，并提高了后续重建可用的空间支持度。图5展示了整个处理流程，包括将马赛克分解为光谱带、多shot光谱融合过程，以及一次、两次、三次和四次采集配置下的空间采样密度的变化。

为了评估空间密集化过程的有效性，在多次采集后得到的光谱密集化带上进行了去马赛克处理。在这个阶段，每个光谱带已经因为合并了互补的采集数据而具有更高的物理测量样本密度。去马赛克过程旨在通过估算这些密集化光谱样本中缺失的像素值来重建高分辨率的多光谱图像。重建使用了双线性插值算法（TriSBI），该算法利用了最近邻像素之间的局部空间相关性[33]。选择双线性插值是为了将空间密集化的贡献与任何算法优化分开：使用固定的、无参数的重建方法可以确保在不同配置下观察到的质量提升仅归因于物理测量样本的增加，而不是重建技术的差异。这一选择还确保了与第3.2.7节中评估的参考去马赛克方法相比的公平和一致性的比较。

为了评估空间密集化过程的有效性，在多次采集后得到的光谱密集化带上进行了去马赛克处理。在这个阶段，每个光谱带已经因为合并了互补的采集数据而具有更高的物理测量样本密度。去马赛克过程旨在通过估算这些密集化光谱样本中缺失的像素值来重建高分辨率的多光谱图像。重建使用了双线性插值算法（TriSBI），该算法利用了最近邻像素之间的局部空间相关性[33]。选择双线性插值是为了将空间密集化的贡献与任何算法优化分开：使用固定的、无参数的重建方法可以确保在不同配置下观察到的质量提升仅归因于物理测量样本的增加，而不是重建技术的差异。这一选择还确保了与第3.2.7节中评估的参考去马赛克方法相比的公平和一致性的比较。

为了评估空间密集化过程的有效性，在多次采集后得到的光谱密集化带上进行了去马赛克处理。在这个阶段，每个光谱带已经因为合并了互补的采集数据而具有更高的物理测量样本密度。去马赛克过程旨在通过估算这些密集化光谱样本中缺失的像素值来重建高分辨率的多光谱图像。重建使用了双线性插值算法（TriSBI），该算法利用了最近邻像素之间的局部空间相关性[33]。选择双线性插值是为了将空间密集化的贡献与任何算法优化分开：使用固定的、无参数的重建方法可以确保在不同配置下观察到的质量提升仅归因于物理测量样本的增加，而不是重建技术的差异。这一选择还确保了与第3.2.7节中评估的参考去马赛克方法相比的公平和一致性的比较。

为了评估空间密集化过程的有效性，在多次采集后得到的光谱密集化带上进行了去马赛克处理。在这个阶段，每个光谱带已经因为合并了互补的采集数据而具有更高的物理测量样本密度。去马赛克过程旨在通过估算这些密集化光谱样本中缺失的像素值来重建高分辨率的多光谱图像。重建使用了双线性插值算法（TriSBI），该算法利用了最近邻像素之间的局部空间相关性[33]。选择双线性插值是为了将空间密集化的贡献与任何算法优化分开：使用固定的、无参数的重建方法可以确保在不同配置下观察到的质量提升仅归因于物理测量样本的增加，而不是重建技术的差异。这一选择还确保了与第3.2.7节中评估的参考去马赛克方法相比的公平和一致性的比较。精细的细节被准确再现，边缘清晰，伪影最小，与低拍摄次数配置相比，空间保真度有了显著提高。图11展示了一个包含ColorChecker Classic目标中文本元素的兴趣区域。在单次拍摄配置中，重建结果的边缘表示较差，导致字符轮廓模糊和变形，严重降低了文本可读性。由于空间采样不足，特别是在细线条和字符边界处，结构保真度丢失。在两次拍摄配置中观察到了显著改进，字符轮廓变得更加连续和清晰，从而明显提高了可读性。这种改进反映了额外拍摄带来的更高空间采样密度的益处。通过三次和四次拍摄配置，进一步实现了渐进式的优化。在这些情况下，字符边缘被更准确地重建，线条连续性得到保持，残余失真被最小化。因此，字符清晰可读，四次拍摄配置提供了最忠实和视觉上最一致的表示。

3.3 无真实值的定量评估
在没有在相同实验条件下获取的真实多光谱参考数据的情况下，使用两个互补的无参考指标来评估重建质量：ColorChecker Classic目标上均匀区域的变异系数（CV）和BRISQUE感知质量得分。这些指标分别捕捉了重建保真度、空间均匀性和感知自然性的独立方面，并在所有光谱带和拍摄配置中进行评估，以提供提出的多拍摄框架的全面定量表征。

3.3.1 均匀区域的空间均匀性
ColorChecker Classic目标包含已知空间反射率均匀的斑块。在本研究中使用的均匀LED照明下，任何在重建斑块内部观察到的空间变化都可以归因于重建伪影而不是场景内容，使得这些斑块成为评估空间均匀性的自然伪真实参考。表6报告了每个光谱带和每个拍摄配置下所有ColorChecker斑块的平均CV值。较低的CV值表示更好的空间均匀性和更少的重建伪影。

表6. 每个光谱带和拍摄配置下ColorChecker斑块的平均变异系数（CV%）。较低的值表示在光谱均匀区域内更好的空间均匀性。

CV值显示了随着拍摄次数的增加而逐渐增加的趋势，分别为单次拍摄（6.40%）、两次拍摄（6.46%）、三次拍摄（6.55%）和四次拍摄（6.69%）。这种单调增加反映了多拍摄组合中固有的空间变异性的逐步引入：每次额外拍摄都整合了互补的空间样本，虽然增加了光谱带的密度，但也引入了名义上均匀斑块内的轻微的拍摄间强度变化。值得注意的是，单次拍摄和四次拍摄配置之间的绝对差异保持在0.3%以下，证实了多拍摄策略在很大程度上保持了斑块的均匀性，并且在均匀区域内没有引入显著的空间伪影。

1号光谱带（430纳米）在所有配置中系统地产生了最高的CV值，这与较短波长的传感器灵敏度较低和光子噪声较高的特性一致。相反，8号光谱带（680纳米）在所有配置中显示出最低的CV值，这与较长波长下滤波器透射率较高相符。这些结果确认了提出的多拍摄采集框架不会降低光谱均匀区域的空间均匀性，而额外拍摄带来的轻微CV增加是空间采样密度增加的自然结果。

3.3.2 感知质量评估
BRISQUE得分是针对每个光谱带和每个拍摄配置独立计算的。由于BRISQUE量化了局部图像统计数据与自然、无失真图像的偏差，因此它对单次拍摄MSFA重建中特有的空间不连续性和之字形伪影特别敏感，非常适合评估多拍摄空间密集化带来的感知提升。表7报告了每个光谱带和拍摄配置下的平均BRISQUE得分。

表7. 按光谱带划分的解码配置下的BRISQUE得分。较低的值表示更高的感知质量。

BRISQUE得分与视觉观察结果高度一致。两次拍摄方法通过恢复边缘连续性和消除单次捕获方法固有的之字形伪影，显著优于单次拍摄。虽然两次拍摄在保持空间不连续性方面表现更好，但在恢复最细微的场景细节方面有所不足。三次拍摄配置通过重建更精细的结构解决了这一限制，尽管在边界处会产生轻微的过渡伪影，如图10所示，这解释了其相对于两次拍摄稍低的BRISQUE得分。四次拍摄方法在细小细节上解决了这些残余伪影，体现在其BRISQUE得分的进一步提高上。在所有配置中，从单次拍摄到两次拍摄的转变中感知质量的提升最为显著，这是指标改善最大的单一步骤。

图12共同展示了跨光谱带和拍摄配置的双重无参考质量指标的演变。

下载：下载高分辨率图像（345KB）
下载：下载全尺寸图像

图12. (a) 单次拍摄到四次拍摄配置下的逐带CV和(b) BRISQUE得分。较低的数值分别表示更好的空间均匀性和感知质量。

总体而言，这两个指标突出了重建质量的互补方面：CV捕捉了斑块内的空间均匀性，并在不同配置中基本保持稳定，而BRISQUE对结构性伪影敏感，清楚地反映了多拍摄采集带来的感知保真度的逐步提高。

3.4 与最先进解码方法的比较
为了进一步评估提出的多拍摄采集框架的有效性，将重建结果与两种代表单次拍摄MSFA成像最先进水平的参考解码方法进行了比较：改进的Spectral Differences（SD）[33]方法和伪全彩色图像解码（PPID）[11]方法。这两种方法都基于单次拼接采集，并利用波段间的光谱相关性来重建全分辨率的光谱带。比较使用了两个互补的无参考指标：BRISQUE感知质量得分和基于Sobel的清晰度指数，其平均值在八个光谱带上进行了报告。

表8. 不同解码方法在评估指标上的定量比较（8个光谱带的平均值）。

从感知质量的角度来看，BRISQUE得分显示出多拍摄配置相对于两种参考方法的明显优势。两次拍摄配置获得了最低的BRISQUE得分（15.27），大幅超过了PPID（19.58）和SD（22.32），表明即使是最简单的多拍摄策略也能产生比基于算法的单次采集方法更自然的重建结果。四次拍摄配置（16.28）和三次拍摄配置（18.13）进一步证实了这一趋势，其得分始终低于这两种参考方法。这种改进可以归因于多拍摄方法的结构特性：通过在插值之前物理上增加空间采样密度，该方法消除了之字形伪影和边缘不连续性的根本原因，而不是试图通过算法进行校正。Sobel清晰度指数的分析提供了另一个视角。SD在单次采集方法中获得了最高的Is值（11.71），反映了其产生清晰但易出现伪影的过渡的倾向，这一点从其较高的BRISQUE得分得到了印证。PPID产生了较低的Is值（10.58），与其对空间过渡的平滑效果一致，尽管这种平滑效果是以降低梯度密度为代价的。值得注意的是，三次拍摄配置在所有方法中获得了最高的Is值（12.22），比SD高出4.5%，这是一个显著的结果：多拍摄采集不仅消除了重建伪影，还恢复了比任何纯算法方法更高的空间梯度密度。两次拍摄配置在清晰度上已经超过了PPID（Is = 11.00），同时在BRISQUE得分上也优于所有方法，证明了其在感知质量和空间细节恢复方面的平衡性。

四次拍摄配置相对于三次拍摄配置的Is值略有下降（11.50 vs. 12.22），这与第3.2节中描述的伪影校正机制一致：四次拍摄方法解决了三次拍摄重建中存在的过渡伪影，这在局部平滑了某些高频结构的同时略微降低了测量的梯度密度。然而，这种权衡体现在四次拍摄相对于三次拍摄的BRISQUE得分有所提高，证实了尽管原始梯度能量略有下降，但感知图像质量得到了有效提升。

综合这些结果可以看出，提出的多拍摄采集框架在两个评估维度上都持续优于最先进的一次采集解码方法。两次拍摄配置代表了最有效的折中方案，提供了卓越的感知质量和具有最小采集开销的清晰度，而三次拍摄配置在所有评估方法中实现了最高的空间梯度恢复。

3.5 在另一个代表性场景上的定量评估
为了评估在校准目标上观察到的改进的普遍性，本节使用相同的多次拍摄协议和从初始校准场景获得的校准参数，在两个额外的代表性场景上进行了定性评估。这些补充实验旨在验证多拍摄采集的好处，特别是空间采样密度的增加，并不依赖于具体场景。分析重点关注从单次拍摄到四次拍摄配置下重建图像的视觉质量，特别是在边缘连续性、细节保留和空间伪影减少方面的表现。这一评估补充了在校准目标上获得的结果，进一步支持了所提出的亚像素校准和采集框架的鲁棒性和场景独立性。图13展示了本评估中考虑的另外两个场景。

图13. 用于评估所提出的多拍摄校准框架的场景独立性的额外场景：(a) 文本和插图场景；(b) 带有植物盆的二维码场景。

在两个额外场景上获得的定性结果与在校准目标上观察到的结果一致。当从单次拍摄切换到两次拍摄配置时，首先观察到了显著的改进，表现为空间细节和边缘定义的明显增强。

图14展示了在三个具有逐渐增加的空间复杂性的代表性场景上，使用不同解码方法（单次拍摄到四次拍摄）获得的重建结果的定性比较：包含精细排版元素的标志、具有周期性毫米级结构的渐变尺和展示曲线边界和平滑强度过渡的眼睛的特写。

在FSC标志场景中，单次拍摄重建的轮廓严重退化，明显的马赛克图案掩盖了树木插图的细线条，使文本几乎无法识别。两次拍摄配置带来了显著改进，恢复了边缘连续性，使标志的整体结构清晰可辨。三次和四次拍摄配置进一步细化了重建效果，字符边界更加清晰，背景区域更加均匀。SD方法在视觉上产生的边缘具有竞争力，尽管沿轮廓仍可见残留的锐化伪影。PPID产生了更平滑的重建结果，但伪影有所减少，不过边缘变得略微柔和，这与其在定量分析中的平滑行为一致。渐变尺场景是最具区分性的，因为其精细的周期性结构对空间欠采样非常敏感。单次拍摄重建被强烈的之字形图案主导，完全掩盖了各个刻度标记。两次拍摄配置消除了这种图案，揭示了刻度的水平结构，尽管相邻标记仍然部分融合。三次和四次拍摄配置逐渐解决了各个刻度标记，分离度和对比度逐渐提高。SD产生了清晰的刻度线条，但在边缘引入了明显的ringing伪影。PPID产生的刻度线条更加平滑，但伪影减少，不过边缘的精细空间分离度有所降低，这与度量分析中确定的锐度-平滑度权衡一致。

在眼睛场景中，单次拍摄重建受到马赛克棋盘图案的严重影响，完全掩盖了解剖结构。两次拍摄配置消除了这种图案，清晰地揭示了虹膜、瞳孔和周围组织。三次和四次拍摄配置进一步细化了重建效果，虹膜纹理的定义更加清晰，强度过渡更加自然。SD重建的眼睛边缘对比度强烈，但在虹膜边界引入了可见的锐化光环。PPID能够产生视觉上平滑的重建结果，具有自然的外观过渡，尽管与四次拍摄配置相比，细小的虹膜纹理细节略有减弱。在所有三个场景中，定性观察结果与所有定量研究结果完全一致。最显著的感知改进体现在从一次拍摄到两次拍摄的过渡上，其特点是消除了马赛克伪影并恢复了主要的结构元素。从三次拍摄到四次拍摄的逐步提升虽然较为微妙，但在细小细节和周期性结构上仍然可以清晰地察觉到。在参考方法中，SD以偶尔出现的 ringing 伪影为代价实现了令人满意的清晰度，而 PPID则更注重感知上的平滑度，但牺牲了细节的恢复。四次拍摄配置提供了最平衡的结果，结合了无伪影的重建和对所有评估场景类型的精细空间细节的忠实恢复，从而验证了所提出的多拍摄采集框架的有效性和场景独立性。

4. 讨论
本工作的核心论点基于一个直接但基本的原理：物理测量的像素总是比估计的像素更可靠。无论使用何种插值算法，任何从空间或光谱相关性重建的像素值都带有一种固有的不确定性，而直接获取的样本则没有这种不确定性。这一原理激励了本研究中提出的多拍摄采集策略，并为所呈现的所有结果提供了解释框架。

4.1 校准精度和亚像素验证的物理意义
表2、表3、表4、表5中报告的校准结果需要仔细解读。本研究中针对的位移是图像平面上的整数像素位移，具体来说是沿着水平轴或垂直轴精确移动一个像素，以便连续的采集能够提供与 MSFA 网格完美叠加的互补采样模式。然而，在实践中实现如此精确的整数位移需要一个具有亚像素级机械精度的定位系统。Alio 六足机器人的像素间距为 4.5 微米，提供了 100 纳米的定位分辨率，大约相当于一个像素的 1/45，远低于目标位移。因此，亚像素相位相关性验证并不是为了测量亚像素位移，而是为了验证命令的整数像素位移是否以足够的精度执行，以避免连续采集之间的错位。在所有光谱带中，测量到的位移始终在 ±0.01 像素的范围内，证实了每像素 0.32 毫米的校准比率是可靠且可重复的。理论值（0.356 毫米/像素）与实验确定值（0.32 毫米/像素）之间大约 10% 的偏差反映了不可避免的现实因素，如光学像差、场景到传感器的距离受分束器影响（因为反射点并不完全已知）、机械公差以及实验室成像系统中常见的微振动，但这些因素并不会影响校准的操作有效性。

4.2 结构欠采样是一次性 MSFA 成像的根本限制
定性和定量结果一致表明，空间欠采样是一次性 MSFA 重建的主要限制因素，而不是插值算法本身的缺陷。像 SD 和 PPID 这样的方法处理的输入本来就非常有限：每个光谱带只包含总像素数量的一小部分，这些算法利用的空间相关性必定是从这些稀疏的测量值计算得出的。剩余的像素是估计值，其准确性会随着空间频率内容的增加而下降。这种结构限制仅靠算法改进是无法克服的，这从一次拍摄结果中持续出现的之字形伪影和边缘不连续性可以得到证明，即使应用了最先进的方法也是如此。多拍摄策略通过在实际进行任何插值之前增加每个光谱带中测量像素的数量来解决这一限制。

4.3 对比分析和实际意义
与 SD 和 PPID 的比较进一步明确了基于算法的方法与基于硬件的方法各自的优点和局限性。SD 通过放大空间梯度实现了有竞争力的清晰度指数，但这是以牺牲感知质量为代价的，这反映在其较高的 BRISQUE 分数上。PPID 通过光谱规范化提高了感知的自然度，但相关的平滑处理减少了细节的恢复。多拍摄配置在两个维度上都实现了同时改进：更高的清晰度指数和更低的 BRISQUE 分数，正是因为它们增加了测量样本的密度，而不是改进了缺失样本的估计。这一差异超出了纯粹的技术考量范畴，它展示了一种根本不同的解决马赛克问题的方法，重点在于限制需要估计的信息量，而不是改进估计过程本身。

4.4 两次拍摄配置作为最佳折中方案
在评估的各种配置中，两次拍摄系统被认为是最具有实际吸引力的。从一次拍摄到两次拍摄的改进在所有指标上都是最大的：BRISQUE 从 30.76 下降到 15.27，清晰度指数从 9.48 上升到 11.00，在两个维度上均超过了 PPID。这种改进仅通过一次额外的采集和一次可控的传感器位移就能实现，使得两次拍摄系统在采集时间和系统复杂性受限的应用中极具吸引力。从硬件角度来看，这种配置可以直接在双传感器架构中实现，其中两个具有互补 MSFA 模式的传感器同时曝光，消除了生产系统中任何机械运动的需求。

4.5 三次拍摄采集和细节恢复的作用
虽然两次拍摄配置有效地处理了主要的伪影抑制和边缘恢复，但三次拍摄配置提供了不应被忽视的有意义补充。需要解析非常精细的空间结构的应用，如精密测量、高分辨率光谱映射或详细表面纹理的检查，可以从第三次采集引入的额外空间样本中显著受益。在所有评估的方法中，三次拍摄的清晰度指数达到了最大值（12.22），甚至超过了 SD，这证实了每个空间位置三个物理测量的光谱带能够恢复比任何单次采集插值策略更多的真实空间信息。对于实时或接近实时的应用，如果可以使用三组互补 MSFA 模式的三 CMOS 架构，三次拍摄配置在空间保真度和采集复杂性之间提供了最佳平衡。对于只有两个传感器可用或采集速度至关重要的系统，可以通过更复杂的插值策略进一步提升两次拍摄系统的算法性能，这些策略比双线性插值更有效地利用了增加的采样密度。

4.6 限制和缺乏真实参考数据的问题
本研究的一个重要限制是评估框架。由于缺乏在相同实验条件下获取的真实多光谱参考数据，无法计算传统的完全参考指标，如 PSNR、SSIM、SAM 和 RMSE。必须明确承认，所使用的无参考指标 BRISQUE 和 Sobel 清晰度指数并不能完全替代完全参考评估。BRISQUE 评估局部图像块相对于未失真自然图像的统计自然度，因此对伪影类型敏感而不是像素级别的保真度。Sobel 清晰度指数量化了梯度密度，但无法区分真正的空间细节和锐化伪影。这些指标在本研究的实验条件下提供了关于重建质量的一致性和信息性的描述，它们在不同配置下的趋同行为增强了得出的结论的有效性。缺乏真实数据反映了实验设置的一个基本实际限制。在 MSFA 光谱分解中，4 × 4 的马赛克模式在每个光谱带中留下了整行未采样的像素。对于 1600 × 1200 的传感器，每两个像素中的一行在给定波长下没有测量到的像素。因此，生成一个完全测量的真实参考数据需要一个像推扫式光栅扫描，覆盖传感器网格上的所有未采样位置，这需要进行数十万次可控的六足机器人位移，并在每个位置进行时间平均。这在当前条件下是不可行的，同时需要保证机械稳定性和场景的静态性。在受控条件下构建这样的数据集仍然是未来工作的重点。

4.7 朝向实际的多拍摄 MSFA 系统
本研究的结果为多拍摄 MSFA 采集的实际应用开辟了具体的前景。最直接的实现途径是使用三组 CMOS 架构，每组传感器都配备不同的互补 MSFA 模式，可以进行光学对齐以同时捕获同一场景。这样的系统将在不需要任何机械位移的情况下复制本研究中展示的空间密集化效果，使其适用于动态场景和实时操作。这里开发的校准方法建立了物理位移和图像平面平移之间的精确对应关系，为设计这种架构中的传感器间对齐约束提供了基础框架。更广泛地说，这项工作表明，一次性 MSFA 成像的根本性能上限不是算法上的，而是物理上的，克服这一上限需要在采集阶段而不是重建阶段采取行动。

5. 结论
本文介绍了一种基于六足机器人-传感器组件受控整数像素位移的多拍摄多光谱采集系统的校准和实验验证。专门的校准协议建立了物理六足机器人位移和图像平面平移之间的可靠对应关系，校准比率为每像素 0.32 毫米，并通过亚像素相位相关性得到了确认，残余误差始终在 ±0.01 像素以内。与理论值的 10% 偏差反映了不可避免的实际因素，但这并不影响框架的操作可靠性。结果展示了一个更广泛的意义：物理测量的像素总是比估计的像素更具信息量。一次性 MSFA 采集的结构欠采样对重建质量施加了一个根本性的上限，没有任何插值算法能够从单个马赛克中完全克服这一限制。通过在重建之前增加测量样本的密度，多拍摄策略从根本上解决了这一限制。使用 BRISQUE 和 Sobel 清晰度指数进行的定量评估，结合与 SD 和 PPID 的比较，证实了多拍摄配置在感知质量和空间细节恢复方面实现了同时的提升，这是纯算法方法无法实现的。两次拍摄配置在最小的硬件开销下实现了最大的单次改进，而三次拍摄配置在所有评估方法中实现了最高的清晰度指数，特别适合需要精细空间细节的应用。需要注意的是，由于缺乏真实参考数据，不能使用 PSNR 或 SSIM 等完全参考指标，而所使用的无参考指标虽然一致且具有信息性，但不能作为直接的替代品。展望未来，三组 CMOS 架构，其中三组传感器具有互补的 MSFA 模式并行工作，代表了实现本研究中展示的空间密集化的最直接途径，为实时多光谱成像铺平了道路。

CRediT 作者贡献声明
Jean Yves Aristide Yao：撰写 – 审查与编辑、撰写 – 原始草稿、验证、软件、方法论、概念化。
Kacoutchy Jean Ayikpa：撰写 – 审查与编辑、方法论。
Matthieu Rosse：软件。
Pierre Gouton：撰写 – 审查与编辑、监督、项目管理、概念化。
Tiemoman Kone：监督。