6G 时代的光学摄像头通信：关于建模、信号处理、机器学习与网络集成的摄像头感知综述

《Physical Communication》：Optical camera communications in the 6G era: A camera-aware survey of modeling, signal processing, machine learning, and network integration

　　

摘要 光相机通信 (OCC) 是一种新兴的光无线范式，在此范式中，视觉发射器通过相机采集管道与图像传感器进行通信。因此，其性能不仅受光传播和调制设计支配，还受图像形成、曝光积分、快门动态、传感器特性和图像信号处理的影响。本综述提出了一个相机感知视角的 OCC 回顾，在统一框架内整合了物理层建模、调制与编码、卷帘快门与 MIMO 传输、信号处理、机器学习、网络以及面向 5G/6G 的集成。与其将相机视为透明检测器，不如强调接收端依赖效应如何塑造信号表示、检测可靠性、可扩展性和部署可行性。它还考察了 OCC 从独立链路向网络化、智能化和具备感知能力系统的转变。回顾指出，可重现性、跨设备鲁棒性、基准标准化、安全性以及射频 (RF)/OCC 共存是在异构未来网络中实际采用的核心要求。

引言 光相机通信 (OCC) 用图像传感器或相机取代了传统可见光通信 (VLC) 的标量光检测器，从而在单一光学前端统一了通信、定位、识别和场景感知 [1]，[2]，[3]，[4]，[5]。OCC 的吸引力源于基础设施复用：相机已经普遍存在于智能手机、车辆、工业传感器、智能建筑、闭路电视 (CCTV) 系统、可穿戴设备和混合现实设备中，而合适的发射器已经作为 LED、交通灯、前照灯、尾灯、标志、显示器和灯具存在 [6]，[7]，[8]，[9]。

与基于光电二极管的 VLC 链路相比，接收到的 OCC 波形并非直接作为标量电气时间序列进行采样。光信号首先被自由空间传播、镜头引起的模糊、图像形成、曝光积分、依赖于行的快门时序、色彩滤镜阵列 (CFA) 去马赛克、传感器噪声、量化以及专有图像信号处理 (ISP) 链转换，然后才进行任何符号决策 [5]，[6]，[10]，[11]。这种相机依赖性是一个核心工程事实，促使进行相机感知的 OCC 综述：即使光信道相同，在一台设备上获得的结果也可能无法转移到另一台设备上 [5]，[6]，[12]。OCC 在四个方面与光电二极管 VLC 有根本区别。第一，OCC 观察的是二维的、曝光积分的图像，而不是采样的电气波形，因此空间选择性是内在的，但时间带宽受限于帧和行采样 [2]，[3]。第二，OCC 将包括 ISP 在内的整个相机管道作为其信道的一部分继承，而 ISP 在很大程度上是不透明且依赖于设备的 [5]，[6]。第三，OCC 在通用接收器上实现联合通信、定位、识别和视觉感知，这对于标量光电二极管来说是很困难的 [9]，[13]，[14]。第四，主要的实际损伤不仅仅是光路径损耗，而是曝光平均、模糊、颜色串扰、自动增益和压缩的组合 [5]，[6]，[10]。

最近的 OCC 进展由四个趋势驱动。卷帘快门接收使得在商用相机上以远高于标称视频帧率的有效速率进行基于条纹的采样成为可能 [5]，[11]，[15]。空间和 MIMO 信号利用图像平面来分离多个源 [16]，[17]，[18]，[19]。基于学习的源发现、去噪和符号检测提高了在杂波、移动和非视距 (NLoS) 路径下的鲁棒性 [18]，[20]，[21]，[22]。标准化活动，特别是 IEEE 802.15.7a-2024 修正案，突出了更高速率和更长范围的 OCC 模式，并加速了车载和智能基础设施的采用 [7]，[23]，[24]，[25]。尽管取得了进展，OCC 仍然分散在相机类别、快门模式、信号域、数据集和应用假设中 [2]，[3]，[4]，[26]，[27]。同样紧迫的是，OCC 历史上被视为物理层演示，而不是网络化系统，导致 MAC 设计、多用户调度、延迟预算、混合 RF-OCC 切换和跨层优化发展不足 [7]，[28]，[29]，[30]，[31]。最近的相关工作也将 OCC 和基于相机的光学系统扩展到面向部署的回顾、室内 VLP、NLOS-VLP 和 NLOS-OCC。其中包括一份覆盖概念、实施、市场潜力、挑战和应用的最新 OCC 综述 [32]，基于结构光相机的室内 VLP [33]，使用像素坐标指纹识别的基于图像传感器的 NLOS-VLP [34]，以及使用基于 CNN 的解调的 CPWM NLOS-OCC [35]。

现有的 OCC 综述提供了关于基础、调制和应用的有价值覆盖，但它们在相机管道效应、ML 可重现性、网络层行为和基准式报告方面的处理差异很大 [2]，[3]，[4]，[5]，[9]，[26]，[27]。很少有工作批判性地检查跨设备泛化或提出可重现 OCC 实验的最小报告协议，甚至更少的工作将 OCC 定位在多址网络、混合 RF-OCC 架构和 6G 通感一体化 (ISAC) 中。表 1 将本综述与主要的先前 OCC 综述和教程进行比较，并确定了促使本工作的差距。

1. 我们将 OCC 确立为一个相机管道感知的通信范式，其中接收信号不仅受光传播塑造，还受图像形成、传感器时序、曝光积分、量化和 ISP 依赖处理的影响。
2. 我们引入了一种统一分类法，连接发射器类别、接收器平台、快门模式、信号表示、传播环境和部署上下文，从而能够结构化地比较现有的 OCC 系统。
3. 我们在现实相机约束下批判性地回顾了调制、编码、同步、MIMO、NOMA、OFDM 和基于卷帘快门的传输策略，突出了它们的优势、局限性和实际权衡。
4. 我们分析了机器学习在 OCC 中的新兴作用，重点强调源定位、ROI 提取、符号分类、图像域增强、ISP、颜色均衡、基于事件的接收和端到端收发器学习，同时讨论可重现性、跨设备鲁棒性、延迟、复杂性和边缘可部署性。
5. 我们将讨论扩展到物理层之外，通过开发 OCC 的网络和跨层视角，包括 MAC 设计、CSMA/CA 行为、排队延迟、多用户调度、NOMA-OCC、混合 RF-OCC 切换、V2X 操作、MEC 支持和 6G/ISAC 集成。
6. 我们提供了一个可重现的基准测试框架，定义了必要的报告要求，并讨论了与基于相机的光学通信链路相关的安全和隐私风险。

第 2 节解释了综述方法论。第 3 节以紧凑的相机感知模型重新审视 OCC 基础。第 4 节提出了系统架构和分类法。第 5 节讨论了调制、编码和多路复用。第 6 节讨论了信号处理和信道建模。第 7 节涵盖了 ML 辅助的 OCC。第 8 节调查了应用领域和部署就绪度。第 9 节发展了网络、MAC、NOMA-OCC、V2X 和跨层处理。第 10 节将 OCC 定位在 5G/6G 异构网络和 ISAC 中。第 11 节提出了基准测试、数据集和可重现性框架。第 12 节强调了开放挑战和未来研究路线图，第 13 节总结了论文。

图 1 说明了 OCC 如何融入异构无线环境，并促使本综述采用相机感知和网络感知的视角。

章节摘要
综述方法论与文献选择 采用了一种结构化的搜索和选择策略，以确保所回顾的文献在技术上与基于相机的光相机通信 (OCC) 相关。该综述优先关注解决关键 OCC 概念的研究，包括卷帘快门接收、MIMO-OCC、RS-OFDM、屏对相机通信、基于颜色的调制和事件驱动接收。它还考虑了更广泛的系统级主题，如图像信号处理、基于学习的检测、非正交

光相机通信基础 OCC 链路由光学发射器、自由空间或反射光学信道以及相机接收器组成。发射器将信息编码在强度、颜色、空间或时间中；信道将发射光映射到图像平面；接收器从帧或事件中估计传输符号，而不是从直接采样的波形中 [2]，[5]，[6]，[10]。

OCC 系统架构与分类 OCC 中的系统架构由光学传输、图像形成、相机采集和接收器处理的联合交互决定。与基于光电二极管的光学链路不同，OCC 性能强烈依赖于快门模式、传感器行为、源几何形状和 ISP [2]，[3]，[4]，[5]。图 4 总结了架构，包括 MAC 和边缘处理。
发射器。发射器大致分为基于 LED 的或基于显示的。基于 LED 的 OCC 包括单个 LED、LED

调制、编码与多路复用 OCC 继承了许多来自 VLC 和数字通信的概念，但基于相机的接收极大地改变了设计标准。调制必须在空间投影、曝光积分、依赖于快门的采样、失焦以及通常不透明的 ISP 操作之后保持可解码性 [2]，[3]，[5]。

信号处理与信道建模 信号处理是实际 OCC 的核心，因为通信波形嵌入在图像中，而不是直接作为电气序列采样。接收器必须发现源、定位 ROI、校正几何形状、抑制背景杂波、在空间和时间上同步、估计条纹或符号模式，并可选地解码前向纠错 (FEC) [5]，[6]，[10]，[18]，[21]。

OCC 中的机器学习 ML 已成为 OCC 中的一个重要研究方向，因为接收信号嵌入在受光学模糊、相机姿态、曝光、环境照明、ISP 失真和场景复杂性塑造的图像或事件流中 [5]，[18]，[20]。与传统上在结构化时间样本上操作的接收器不同，OCC 接收器面临耦合的视觉和通信任务。这种多阶段结构使 OCC 特别适合数据驱动方法，特别是在手工制作阈值或

应用与部署就绪度 OCC 的实际相关性最好通过其应用领域来理解，因为基于相机的接收的优势和局限性高度依赖于上下文。在某些场景下，主要目标是可靠的低速率传输；在其他场景下，主要价值是在通用接收器上组合通信、定位、识别和场景感知 [2]，[4]，[9]。这种多功能能力使 OCC 区别于基于光电二极管的 VLC，特别是在相机是

网络、多址与跨层设计 OCC 研究历史上是以物理层为中心的，但实际部署需要多址协调、延迟预算、移动性管理和跨层优化 [7]，[28]，[29]，[30]。图 7 显示了支持 MEC 的混合 OCC-RF 网络架构。

5G/6G 异构网络与 ISAC 中的 OCC 除了独立链路外，OCC 越来越被理解为异构接入中 5G/6G 的补充 [40]，[41]，[42]，[66]，[67]。正在出现三个集成方向。

基准测试、数据集与可重现性 OCC 研究中的一个持续挑战是报告性能指标的可比性有限，即使对于标称相似的调制方案也是如此。这种限制之所以产生，是因为 OCC 性能共同受光功率、传播条件、源几何形状、相机光学、快门操作、曝光设置、ISP、压缩、ROI 提取、同步和后检测处理的影响 [5]，[6]，[10]。因此，吞吐量、BER、识别等指标

开放的研究挑战与未来方向 OCC 的未来进展将较少依赖于孤立的数据速率增益，而更多依赖于鲁棒、可重现、面向部署的系统设计和网络级集成。我们总结了一个路线图。
短期优先事项。当前的研究工作应集中在相机感知的物理层设计上，包括快门时序、曝光控制、光足迹建模和 ISP 补偿，以及跨设备数据集发布、报告协议采用、用于源的可重现 ML 基准

结论 本综述提供了一个相机感知的光相机通信 (OCC) 视角，在统一框架内整合了光学传输、图像形成、快门操作、传感器响应、图像信号处理、信号处理方法、机器学习技术、网络机制和面向 6G/ISAC 的集成。从本回顾中得出的一个核心观察是，实际 OCC 系统的性能不仅由调制设计和光学

资助 作者未收到任何组织对提交工作的支持。

CRediT 作者贡献声明 Mohamed Abdel-Hady: 写作 – 审查与编辑，写作 – 原稿，概念化。Tarek Hosny: 写作 – 审查与编辑。

竞争利益声明 作者声明他们没有已知的竞争性财务利益或个人关系，可能被视为影响了本论文中报告的工作。

Mohamed Abdel-Hady|Tarek Hosny