《Sensors》：M3-RGB: An Imaging Sensor System Using Multicore, Multimode Optical Fiber and Neural Networks
编辑推荐：
传统图像采集需要将带电图像传感器置于相机镜头正后方，限制了相机布设位置。为克服该问题，研究人员提出M3-RGB作为一种非相干光光纤成像系统，其中多芯多模光纤（multicore, multimode optical fiber）无源地中继镜头图像至远端图像传感
传统图像采集需要将带电图像传感器置于相机镜头正后方，限制了相机布设位置。为克服该问题，研究人员提出M3-RGB作为一种非相干光光纤成像系统，其中多芯多模光纤（multicore, multimode optical fiber）无源地中继镜头图像至远端图像传感器。与传统方案不同，M3-RGB设计于直接工作在非相干光下，在传感接口处无需电力或主动元件。由于光在光纤中传播产生空间扰乱图案，研究人员利用神经网络通过挖掘多芯结构保留的空间局部性来重建原始场景。在受控光学平台中，由液晶显示屏（LCD）显示道路场景图像，研究人员构建了扰乱图与真值图的配对数据集，并定量评估了不同纤芯数、光纤长度与标定设置下的重建性能，以峰值信噪比（PSNR）和结构相似性指数（SSIM）为指标。通过解耦成像电子与传感点，这种被动远程图像中继方法可拓展传感器布设选项，潜在应用于移动机器人与自动驾驶全向感知、监控及狭小空间检测。真实户外环境评估留作未来工作。
研究背景方面，常规相机要求带电图像传感器与镜头光学孔径紧耦合，导致每个传感点需供电与数据线、散热及占用镜组物理空间，在多相机感知系统（如自动驾驶16路环视、nuScenes六相机360°覆盖）中显著推高硬件成本与集成复杂度。为此，研究人员开展一项基于多芯多模塑料光纤（multicore multimode plastic optical fiber, MC-MM POF）的被动远程图像中继研究，提出M3-RGB系统：镜头收集的非相干场景光经物镜耦合进MC-MM POF，传输一定距离后由远端物镜与消色差双合透镜投影到远程相机传感器，得到空间扰乱强度图，再用神经网络端到端重建成像。该研究发表于《Sensors》，核心意义在于将成像电子与光学传感点物理解耦，传感头无电、无热、抗电磁干扰，为机器人环视、防爆管道检测、城市监控等场景提供新架构。
关键技术方法上，研究人员从FLIR ADAS数据集RGB帧取11777张道路场景图作为真值，在光学平台上用LCD显示真值图充当目标场景，经物镜耦合进长度为1.0 m、5.0 m、10.0 m且纤芯数分别为单芯、217、613、1300、7400的MC-MM POF（纤径含包层1 mm、数值孔径NA 0.5），远端经第二物镜与消色差双合透镜成像至传感器，获得配对扰乱图；按8:1:1固定随机种子划分训练验证测试集，每种纤芯×长度×是否旋转标定组合独立训练一个条件专用模型；网络为双分支视觉Transformer（Vision Transformer, ViT），分别以小补丁与大补丁分词、独立位置嵌入、注意力融合与多层感知机（MLP）反射重建，损失采用通道加权L1（R通道因POF传播损耗最高而权重最大）；部分中低纤芯配置以1°网格手动按传输矩形轮廓粗到精选全局旋转角做标定；以PSNR与SSIM为指标。
研究结果部分，第3节系统概述表明，MC-MM POF内各物点激发多导模，经模间色散与模耦合在芯内展宽、多芯离散采样保留芯尺度空间局部性，单芯极限下退化为盲散斑反演，7400芯时人眼可辨轮廓。第4节实验中，4.2节纤芯数影响：在1.0 m光纤、无标定时，PSNR与SSIM随纤芯数单调上升，7400芯较单分支Transformer基线PSNR高2.88 dB，SSIM持平，证明双分支设计主要降像素误差而非改结构相似；4.3节光纤长度影响：1.0/5.0/10.0 m下纤芯数趋势不变，10.0 m在217–1300芯反略优于5.0 m，研究人员归因为分次装调的耦合聚焦质量差异而非长度本身，说明1–10 m内衰减与色散未破环芯间分割线索；4.4节旋转标定影响：对中低纤芯手动1°标定带来一致但有限提升，残差±0.5°小于芯距，被条件专用训练吸收。第5节讨论指出，该任务非纯盲散斑反演，而是介于光纤信道反演与超分辨率/去蜂窝采样恢复之间；局限包括LCD显示目标非真实户外3D场景、条件专用模型未跨配置泛化、单端单传感器未测多端面与弯曲温度鲁棒、手动标定不可扩展到单芯、分次采集混淆长度因素、吞吐与耦合效率未量化。第6节未来工作指向紧凑金属透镜传感头、真实户外动态场景、单传感器多端面多纤并行、跨配置泛化。第7节结论总结：在受控光学平台LCD道路图条件下，MC-MM POF无源中继+ViT重建可行，纤芯数增加显著提升PSNR/SSIM，长度至10 m可用，旋转标定有微益；户外验证留未来。
讨论与结论翻译：研究人员在受控光学平台条件下引入M3-RGB作为非相干光光纤成像系统，通过多芯多模光纤无源中继镜头图像至远端图像传感器，并利用神经重建网络与旋转标定重建场景；以LCD显示道路场景为真值构建配对数据集，定量表征了纤芯数、光纤长度与标定设置的影响。研究发现限于受控光学平台表征，真实户外场景验证属未来工作。最终目标是推进能通过复杂光学信道进行高保真成像的下一代相机系统发展。
