使用液晶光谱调制器和人工智能将RGB相机转换为高光谱成像仪

《ACS Photonics》：Conversion of RGB Camera into Hyperspectral Imager Using a Liquid Crystal Spectral Modulator and Artificial Intelligence

　　

高光谱成像通过提取光谱信息实现定量材料鉴别，但其应用仍受限于色散光学、滤光片阵列和机械扫描架构。在此，研究人员介绍了一种通过可编程光子编码和物理感知神经反演将标准RGB或色彩掩膜传感器转换为高光谱成像仪的方法。单个电可调液晶（Liquid Crystal, LC）光谱调制器，通过电压控制双折射干涉，动态重塑入射光谱以生成一系列结构化的光谱混合状态。这种可重构编码突破了传统传感器的固有三通道限制，且无需修改探测器或引入色散元件。颜色通道的固有光谱分解显著降低了逆问题的维度和复杂性。捕获的多路复用数据被建模为一个条件逆问题，其受调制器和传感器的光谱传递函数（Spectral Transfer Function）控制。为了恢复窄带光谱分量，研究人员实现了一种波长分辨的人工神经网络阵列（Artificial Neural Network Array, ANNA），该阵列执行带特异性反演，并根据光谱灵敏度和编码矩阵优化信息融合。这种光学-数字协同设计增强了光谱可识别性和稳定性，同时保持了硬件的简洁性。实验证实了在可见-近红外（Visible-Near-infrared, VNIR）范围内的高光谱重建准确性，并通过量化菜籽油混合物中的橄榄油掺假（解析RGB空间中无法区分的细微吸收变化）验证了材料灵敏性。通过将彩色相机重新定义为可编程光谱测量系统，本工作建立了一条紧凑、可扩展的路径以实现可部署的高光谱成像，并阐明了结构化光子调制和ANNA如何从根本上扩展传统成像平台的信息容量。

**论文解读：基于液晶光谱调制器与人工神经网络的RGB相机至高光谱成像仪转换**

**研究背景与问题**
高光谱成像（Hyperspectral Imaging）能够提取光谱信息用于定量材料鉴别，在遥感、食品质量检测、安防和医学成像等领域具有广泛应用。然而，传统高光谱系统依赖色散光学元件、滤光片阵列或机械扫描架构，导致系统体积庞大、成本高昂，难以推广至消费级应用。近年来，计算光谱成像方法通过光学编码与数字解码两阶段实现，但现有RGB-to-高光谱重建方法往往仅依赖于固定三通道光学编码，而数字解码虽借助多尺度神经网络，却因光学编码维度过低（仅三个光谱测量）导致逆问题存在固有数学歧义——不同光谱分布可映射至相同RGB值，使得高精度光谱估计严重受限。因此，平衡光学编码与数字解码的协同设计成为突破瓶颈的关键。本研究旨在通过可编程光子调制与物理感知神经反演，将标准RGB传感器转换为紧凑、可重构的高光谱成像系统，以解决上述问题。

**关键技术方法**
本研究采用以下主要技术方法：
1. 电压可调液晶（Liquid Crystal, LC）光谱调制器：利用向列型LC在反平行对准几何中的电控双折射干涉，产生电压依赖的多频啁啾光谱调制函数，覆盖整个光谱范围。
2. CMOS传感器原生颜色滤光片阵列（Color Filter Array, CFA）：对LC调制后的光谱进行空间分解，使每个像素捕获不同光谱分量，降低逆问题维度。
3. 波长分辨人工神经网络阵列（Artificial Neural Network Array, ANNA）：由多个独立卷积神经网络（Convolutional Neural Network, CNN）并行组成，每个网络针对单一光谱分量进行带特异性反演，并基于波长优化多通道信息融合。
4. 光学-数字协同设计：通过联合优化LC调制电压序列与ANNA架构，实现任务导向的高效编码与解码。
样本队列方面，实验采用橄榄油-菜籽油混合物（10%–100%浓度梯度），利用橄榄油在670 nm处的叶绿素特征吸收作为区分标记。训练数据由系统在校准过程中自生成，约5 × 10⁵对。

**研究结果**
**光学编码与调制空间**
通过实验测定了25 μm厚LC器件在0–10 V电压下的调制空间（图2），观察到低电压（0.8–2 V）产生高频啁啾调制，对光谱细节敏感；高电压（2–6 V）产生低频包络调制。优化后选用40个电压状态，其中30个集中于低电压范围以增强对670 nm吸收特征的编码。

**浓度评估（Eva模型）**
使用单CNN模型（Eva）直接从40帧红色通道编码测量值估算橄榄油浓度。对于训练中未见的中间浓度（25%、54%、74%），Eva 1（仅用10%间隔数据训练）的像素准确率分别为22%、20%、19%。通过增加3个中间浓度（Eva 2）和6个中间浓度（Eva 3）训练，准确率分别提升至34%、25%、21%和44%、31%、23%（表1），表明光学系统已编码足够信息，精度受限于训练数据多样性。

**光谱重建（ANNA模型）**
ANNA模型由76个独立残差CNN组成，每个重建一个光谱分量，输入来自多个颜色通道的优化组合。对73%–77%浓度（1%步长）的样品进行全光谱恢复，聚焦670 nm吸收区域（图7）。恢复光谱与参考光谱仪测量值的百分比相对误差（Percentage Relative Error, PRE）较低，表明系统能精确重建高频光谱特征。

**浓度趋势跟踪**
使用基本Eva 1模型评估23%–27%浓度（1%步长）时，虽绝对精度有限，但估计浓度分布均值呈现单调偏移（图8），证明系统对微小浓度变化敏感，模型成功泛化。

**信噪比影响分析**
进一步分析表明，可靠浓度估计需信噪比（Signal-to-Noise Ratio, SNR）超过40 dB；当前系统空间SNR为34–37 dB，导致约±2%的估计偏差。这解释了部分误差来源，为硬件优化（如更高位深传感器）提供了依据。

**结论与意义**
本研究通过集成25 μm单像素LC光谱编码器，将标准RGB Bayer CMOS传感器成功转变为高精度高光谱成像平台。实验验证了在橄榄油掺假检测中的实用性，表明任务相关的光谱信息可从有限编码测量中可靠提取。结论部分强调：液晶厚度决定了光谱调制带宽-时间响应的权衡，通过过驱动技术将总采集时间降至200 ms以下，未来可采用铁电LC等更快模式实现亚10 ms扫描。该光学-数字协同设计范式挑战了传统以硬件为中心的高光谱成像理念，证明光谱维度可通过可重构光子材料与自适应神经重构的协同合成，为化学分析、生物医学诊断、环境监测和工业检测开辟了新途径。**研究结论原文翻译**：在此工作中，研究人员实验证实了通过集成25 μm单像素LC光谱编码器可将标准RGB Bayer CMOS传感器转换为精确的高光谱成像平台。电压可编程LC生成结构化的多频光谱调制模式，这些模式由原生颜色滤光片阵列进行光学分解，实现了任务导向的压缩光谱编码而无需修改底层相机硬件。通过优化LC厚度和40个电压状态，系统对油混合物进行高效光学编码，随后在数字领域完成全光谱重建和定量浓度估计。这些结果证实了任务相关的高光谱信息可从有限数量的编码测量中可靠提取，有效将商用彩色传感器转化为计算高光谱成像仪。框架的鲁棒性由三个物理依据支持：性能通过真实定量估计任务验证而非仅全局相似性指标；尽管训练浓度稀疏仍实现强泛化，表明结构化光谱编码减少了对大数据集的依赖；独立空间SNR表征定量解释了残余重建和浓度误差，展现了光学噪声限制与算法性能之间的预测一致性。在器件层面，LC厚度决定了可达光谱调制带宽，引入光谱编码复杂度与时间响应之间的内在权衡，通过过冲/欠冲驱动方案有效缓解，总采集时间低于200 ms。最重要的是，该架构并非根本上受限于速度：采用更快LC模态（如亚毫秒响应的铁电LC）可在40个电压状态下实现亚10 ms光谱扫描，将采集瓶颈转移至相机帧率。超越具体演示，本工作建立了一种通用的光学-计算协同设计范式，其中可编程LC光谱调制与自适应神经解码协同运作以扩展标准彩色传感器的功能维度。通过利用成熟的CMOS基础设施并嵌入物理结构化的光谱编码，所提方法为紧凑、低成本、可部署的高光谱系统提供了可扩展路径。更广泛地说，本工作挑战了传统以硬件为中心的高光谱成像范式，表明光谱维度可通过可重构光子材料与自适应神经重构的协同设计进行合成而非直接测量，为化学分析、生物医学诊断、环境监测和工业检测开辟了新机遇。