《Vehicles》:A Survey on Key Technologies and Applications of Semantic Communication for Vehicular Networks
编辑推荐:
为应对智能网联汽车对高带宽、低时延及高可靠通信的严苛需求,研究人员系统总结了基于信息"意义"传输的车联网语义通信技术,涵盖基础理论、关键技术、应用实践及挑战与趋势。首先,研究人员阐述了车联网语义通信知识驱动与任务导向的范式特征及其效率优势。其次,在关键技术方面
为应对智能网联汽车对高带宽、低时延及高可靠通信的严苛需求,研究人员系统总结了基于信息"意义"传输的车联网语义通信技术,涵盖基础理论、关键技术、应用实践及挑战与趋势。首先,研究人员阐述了车联网语义通信知识驱动与任务导向的范式特征及其效率优势。其次,在关键技术方面,语义提取通过多模态融合及生成式人工智能实现高效特征压缩;语义编码采用分层码本及自适应策略优化传输效率;语义传输利用深度强化学习实现频谱、功率等资源的联合调度;语义解码则借助重构网络与生成式人工智能增强抗损伤能力。应用实践表明,语义通信能够显著压缩自动驾驶协同感知中的图像数据传输量,并在恶劣信道条件下保持高保真重构;在车路协调及车载服务中显著降低通信负载并提升系统效用。尽管面临语义一致性、动态适应性及安全可信性等技术挑战,未来车联网语义通信将向分布式协同知识网络、轻量化实时决策智能体及"通信-感知-计算"融合架构深度演进,成为赋能第六代移动通信(6G)智能车联网的关键使能技术。
## 2 文献综述方法
为确保综述的广度与客观性,研究人员在文献收集过程中采用系统性检索与筛选策略。检索主要通过重庆大学图书馆电子资源门户进行,辅以IEEE Xplore、Web of Science、Scopus及中国知网(CNKI)的直检。围绕"语义通信"与"车联网"两大核心主题构建多组关键词组合,英文检索式为:(semantic communication OR semantic coding OR semantic transmission OR semantic extraction) AND (vehicular network OR Internet of Vehicles OR IoV OR intelligent transportation OR connected vehicle) AND (autonomous driving OR collaborative perception OR vehicle-to-infrastructure coordination OR 6G);中文文献则在CNKI中使用"语义通信""车联网""协同感知""6G"等对应术语。考虑到车联网语义通信研究自2020年后才显著增长,检索时间范围限定为2020年1月至2026年6月。纳入标准明确聚焦于车联网场景并探讨关键语义通信技术或典型应用,且提出新颖方法、框架或架构并附有实验验证或案例研究;排除标准包括未涉及车联网的通用语义通信研究、仅限传统比特级通信而无语义处理的研究、非学术材料,以及重复或高度重叠的内容。初步检索获得约500篇文献,经去重、标题摘要筛选及全文审阅后,最终纳入42篇核心参考文献及17篇背景支持文献。
## 3 车联网语义通信基础理论
### 3.1 语义通信基本框架
作为突破性新范式,语义通信的核心在于通信的终极目的是成功交付与理解信息"意义"以高效支持特定任务。经典语义通信系统框架始于发送端在知识库指导下对场景的理解以提取核心语义信息,继而由语义编码器转换为适合传输的紧凑表征,经物理信道传输后,接收端语义解码器利用对应知识库解析并重构接收信号,最终基于场景理解恢复语义。该框架中,知识库是高效编解码与准确语义理解的基础,亦是语义通信与传统通信的关键区别。为适配车联网高动态、低时延、高可靠及任务多样性的严苛要求,语义通信基本框架正从"通信-语义"向"感知-通信-计算-语义"深度融合演进。通感一体化技术使系统能够利用相同无线信号同步执行环境感知与语义信息传输,共享频谱与硬件资源以提升整体效率;边缘计算的引入使语义提取、知识更新等计算密集型任务得以本地化处理,有效降低端到端时延。在此基础上,面向车联网多用户、多服务特性,知识库的动态构建、匹配与更新成为关键挑战,推动分布式知识管理研究。此外,语义通信框架进一步向"目标导向"演进,并与区块链、数字孪生等技术融合形成更智能可信的系统级解决方案。目标导向通信强调传输信息应充分服务于最终任务,如参考文献[16]在接收端设计语义重构网络对抗传输损伤,其直接目标是保障下游视觉感知任务性能;参考文献[8]进一步探索目标导向语义通信、区块链与智能合约的融合框架,利用语义信息驱动可信合约的自动执行,构建从语义理解到可信自动决策的闭环。
### 3.2 车联网场景通信需求
车联网作为语义通信技术的关键垂直应用领域,其网络与服务环境相较于传统无线网络具有显著特性。车联网涵盖车对车(V2V)、车对基础设施(V2I)、车对行人(V2P)及车对网络(V2N)等多种通信连接,形成复杂动态的车联万物(V2X)网络。在网络与信道层面,高速移动导致网络拓扑快速变化,V2X通信链路面临严重的多普勒频移、频繁切换及中断风险;复杂城市环境导致显著的时变非平稳信道特性。车辆轨迹与通信需求受道路拓扑与交通规则强约束,为预测性资源管理提供机遇的同时也增加了建模复杂度。系统须满足极高可靠性与极低端到端时延。在服务需求层面,安全与协同控制服务对通信可靠性和时延有近严苛要求,时延预算低至3–20 ms、可靠性要求高达99.9%以上;增强信息服务则要求高吞吐量(达Gbps级别)但时延容忍度相对较高(通常100–500 ms范围)。车联网还面临严峻资源约束,专用V2X频谱资源在密集城市场景是主要瓶颈,车载及边缘节点的计算、存储与能源资源亦有限。考虑到通信模式与场景复杂性,车联网涉及V2V、V2I等多种连接方式,常以多跳自组织形式存在,传统集中式调度效率低下,亟需分布式智能决策机制;且车辆作为通信节点其行为与驾驶任务紧密耦合,通信优化无法脱离具体场景与应用目标。因此,车联网语义通信设计必须实现从"尽力而为"通用传输向"任务驱动、效用最优"传输的智能范式转变。
### 3.3 车联网语义通信优势
相较于传统比特传输范式,语义通信为解决车联网严苛挑战提供了根本性方案。其核心优势主要体现在以下方面:一是知识依赖与上下文感知,收发双方共享关于驾驶环境与规则的背景知识库,使通信内容可基于任务上下文高度定制,如协同感知中仅交换"前方行人"等差分语义信息以显著压缩负载;二是任务导向的极限压缩能力,编码过程主动滤除与决策无关的冗余细节,参考文献[10]表明在Cityscapes数据集上,基于语义分割的图像编码方案可将数据量压缩至PNG无损大小的约1/79;三是传输鲁棒性提升潜力,传输高维语义特征在某些条件下可提供对信道噪声的更好容忍度;四是深度跨层融合与系统级协同,语义通信框架可与感知、计算等技术集成,参考文献[7]提出的通感算融合语义通信框架可在统一资源约束下协同优化感知精度、安全速率与计算开销;五是评估范式从保真度到任务效用的根本性转变,优化目标转向下游任务完成质量,如参考文献[20]联合优化语义编码"粒度"与无线资源以最小化时效性约束下的语义失真,直接优化协同感知性能,参考文献[16]设计的语义重构网络也以保障视觉任务性能为终极目标,推动车联网通信系统从"数据传输管道"向"任务服务提供者"转型。
## 4 车联网语义通信关键技术
### 4.1 语义提取技术
语义提取是车联网语义通信的起点,其核心任务是从车载传感器采集的原始数据中蒸馏对下游驾驶任务最有用且可理解的高级语义表征,是实现极限通信负载压缩与智能交互的基础。当前技术发展主要呈现多模态融合与大模型驱动的高级语义理解两大特征。多模态融合通过整合图像、点云、文本等多源信息提升语义理解的完备性与鲁棒性,如参考文献[21]提出的多模态语义通信框架从摄像头捕获图像中提取13类语义特征,实现超过92%的数据压缩率同时保持测试图像上具有竞争力的重构质量。以视觉-语言模型(VLM)为代表的大模型正为语义提取带来范式变革,参考文献[22]研究表明利用LLaVA等大模型可从车辆图像自动生成结构化文本描述,准确聚焦关键物体及其空间关系,实现从像素到语义的高效端到端转换。为适配车联网动态环境与端侧计算约束,轻量化与自适应提取策略成为关键。一方面提取过程需与具体任务深度耦合,基于"语义重要性"动态调整提取粒度,如参考文献[23]在数字孪生同步场景中通过优化"语义表征率"实现任务保真度与通信成本的平衡,参考文献[24]在联邦学习场景中提出结合任务相关性与语义特征重要性的重要性度量实现语义重要模型参数的智能多尺度选择上传;另一方面提取框架本身需具备在线学习与动态调整能力,参考文献[25]提出的联邦学习赋能框架通过深度强化学习动态优化语义提取策略,适应车辆节点的动态加入退出及网络资源波动。现有方法在资源开销与语义深度之间存在明显权衡,大模型的实时车载部署、高移动性下的语义一致性维持,以及安全关键场景的形式化可靠性保证仍是当前局限。
### 4.2 语义编码技术
语义编码是语义通信过程的核心环节,其任务是将提取的高级语义特征高效可靠地映射为适合无线信道传输的紧凑符号序列。当前车联网语义编码技术主要围绕自适应编码策略、分层码本设计及深度学习驱动编码三个方向演进。自适应编码旨在基于实时信道状态动态调整编码参数,如参考文献[20]将分层码本与深度强化学习相结合,为语义信息提供多种具有不同失真-速率权衡的码本层级,使系统能够基于信息年龄约束自适应选择最优编码粒度;参考文献[26]提出的MSFTL框架将编码器拆分为预训练模型与微调层,并融入Stackelberg博弈资源优化机制,降低训练成本并适配高动态车联网环境。深度学习为语义编码提供强大的端到端联合优化能力,如参考文献[27]采用知识图将信息结构化为语义三元组并按Zipf式重要性分布优先传输关键内容;参考文献[28]开发的在线特征与信道注意力网络将信道状态信息(CSI)作为辅助输入以联合优化语义压缩与抗信道损伤能力。未来语义编码技术将持续向与网络资源智能协同、支持在线终身学习及构建更通用开放场景编码框架方向发展。当前局限包括:多数方法假设信道状态已知或可预测,在高动态环境下泛化不足;跨层优化方案难以平衡系统复杂度与实时性能。
### 4.3 语义传输技术
语义传输技术负责通过动态无线信道将编码后的语义信息可靠及时地送达接收端。其核心目标是在车联网服务严苛约束下最大化语义信息的最终任务效用,而非单纯追求信道容量。语义传输须有效适配车联网高度动态不确定的信道环境,如参考文献[29]的快速时变信道精确估计、参考文献[30]利用图神经网络(GNN)挖掘信道空间相关性的智能估计方案,为低复杂度高精度信道估计提供新途径。参考文献[31]提出的VREM-FL框架融合车辆轨迹与无线电环境图预测未来信道条件以智能调度模型上传时机;参考文献[32]将语义通信与数字孪生结合,利用数字孪生提供的网络状态先验知识优化传输策略以应对高移动性挑战。语义感知智能资源管理是提升传输效率的关键,参考文献[33]提出面向协同感知的情境感知混合接入框架,正交广播关键语义上下文的同时并发聚合详细融合特征,显著提升多用户融合效率;参考文献[34]从网络全局视角展示语义感知边缘计算资源优化可大幅降低车联网应用的时延与能耗;参考文献[35]提出的分层语义传输框架将载荷分离为粗粒度元数据层与细粒度视觉语义层,构建信息年龄/信道状态感知在线调度问题。鉴于语义信息重要性差异,需跨层联合分配频谱、功率等资源,基于深度强化学习的分布式决策成为主流,如参考文献[36]提出面向D2D车联网语义通信的长期鲁棒跨层资源分配框架,通过Lyapunov优化与Bernstein近似联合优化应用层语义接入控制与物理层功率控制;参考文献[37]提出的TCSC框架通过多智能体强化学习算法联合优化语义符号数与任务卸载比例,最小化高速公路场景总系统时延。传输调度与协同机制对协同应用至关重要,如参考文献[38]的FullPerception框架在网络层协调车辆间语义特征共享与资源调度,主动消除车辆盲点以最大化整体感知精度;参考文献[39]构建任务卸载与通信计算资源联合优化模型以最大化综合系统效用;参考文献[40]提出的TCMSC方案采用随机网络演算建模V2I时延边界违反概率,并基于Transformer强化学习算法联合优化中继选择、带宽分配与语义符号分配。当前局限包括:多数方法假设理想信道估计,在高动态环境下性能显著退化;跨层优化方案难以平衡实时性能与复杂度;安全机制与传输效率之间存在内在张力。
### 4.4 语义解码技术
语义解码是车联网语义通信过程的最后一步,其核心任务是在接收端准确解析并重构可能受损的语义表征,以恢复能够支持驾驶决策的完整语义信息。与传统解码追求比特级恢复不同,语义解码旨在准确恢复"意义"以高效完成下游任务。当前技术主要从鲁棒语义重构、生成式人工智能增强与在线自适应解码三方面发展。鲁棒重构方面,参考文献[16]提出的目标导向通信框架在接收端集成可训练语义重构网络,可预测并从压缩和丢包损伤的特征中恢复完整语义表征,显著提升下游视觉任务性能而无需依赖重传。生成式人工智能带来解码质量的飞跃,参考文献[41]提出的SD-Semantic是基于稳定扩散的低信噪比图像语义解码框架,将信噪比反馈融入扩散去噪网络并使用文本提示引导重构,在高斯、瑞利和莱斯衰落信道下的感知质量均优于JPEG、WebP及Deep-JSCC。语义理解技术正从"信息恢复"向"知识推理与决策"深度演进,与大语言模型(LLM)的融合成为前沿。如参考文献[42]设计的SemTVR框架面向低信噪比车联网环境的鲁棒文本到视频检索,利用先进先出(FIFO)历史查询缓存与交叉注意力增强接收端噪声查询恢复;参考文献[43]的SCKS框架针对异构神经网络架构车辆间的知识共享,采用生成式蒸馏提取传输模型语义并以GAN基解码器重构。大模型凭借其庞大知识库与强大上下文推理能力可进行语义信息的深层次解读,如参考文献[44]利用多模态大语言模型(MLLM)赋能自动驾驶场景角点案例检测,结合图像与文本语义输入及其内置知识识别并解释训练数据中未出现的罕见异常交通场景,显著提升开放环境感知鲁棒性。该深层理解能力使车辆能够从语义信息中推断风险、预测意图,实现从"传输数据"到"获取智能"的跃迁。未来该技术将与具身智能(EAI)及世界模型更紧密融合,向具备持续学习与因果推理能力的通用语义智能体发展。当前局限包括:生成式解码的计算开销与实时性能之间未解决的矛盾、大模型车载部署受算力与能耗制约、多数方法在极端信道条件下的鲁棒性尚待验证。
## 5 车联网语义通信典型应用场景
### 5.1 自动驾驶场景应用
在自动驾驶场景中,语义通信通过传输任务相关"意义"而非原始数据,为突破单车感知局限、实现高效协同提供关键技术。其核心价值体现在增强环境感知、实现协同驾驶及提升复杂场景鲁棒性三方面。语义通信可显著提升环境感知能力,尤其在高清图像传输的带宽约束下实现高效视觉信息共享,参考文献[10]表明在Cityscapes数据集上基于语义分割的编码方案可将数据量压缩至PNG无损大小的约1/79;参考文献[21]的多模态框架并行传输文本描述、目标边界框、深度图等13类特征,在10 dB信噪比模拟瑞利衰落信道下即使40%随机丢包率仍可保持高保真度。语义通信是实现网络级协同感知消除单车盲点的核心,参考文献[38]的FullPerception框架在网络层协调车辆间语义特征共享与资源调度,为自动驾驶车辆提供超视距全局环境认知,确保潜在危险区域的提前预警与精准避障。语义通信与人工智能技术的结合增强系统应对复杂长尾场景的鲁棒性,参考文献[7]提出的通感算融合语义通信框架使路侧单元在跟踪车辆的同时安全高效地发送警告;参考文献[44]利用MLLM赋能角点案例检测,理解通过语义通信接收的图像和文本信息以识别训练数据外的罕见异常交通场景,显著提升开放世界的适应性与安全性。
### 5.2 车路协调场景应用
车路协调旨在通过车辆与路侧单元、交通信号等基础设施的深度交互实现超视距感知与全局交通优化。相较于增强单车感知的车车协同,车路协调更侧重于利用基础设施广域覆盖与强大计算力为区域车辆提供全局服务如智能信号配时和拥堵缓解。然而,海量路侧感知数据的上行传输易造成网络拥塞,语义通信通过传输高度精炼的语义信息而非原始数据流为突破该瓶颈提供新路径。其技术路径主要体现在高效语义压缩、语义增强决策与语义感知资源调度三方面。高效语义压缩方面,参考文献[11]提出的SemanticTwin架构使车辆上传轻量化社交行为语义特征以构建数字孪生,并通过强化学习优化语义缓存以提升同步效率与体验质量。语义信息可在共享"交通场景知识图"下融合推理生成更全面全局态势以支持协同路口通行等复杂决策。语义重要性可作为动态资源调度依据,参考文献[18]构建的语义感知计算卸载模型通过评估语义特征重要性智能选择传输内容,并采用混合动作深度强化学习联合优化通信资源与语义压缩比,最大化综合考虑任务时延、能耗及语义保真度的系统效用。语义通信正与区块链、智能反射面等新技术融合,参考文献[8]探索目标导向语义通信与区块链智能合约的融合框架,使路侧设施基于语义信息自动触发执行可信交通控制合约;参考文献[12]研究智能反射面辅助的车载元宇宙场景,同步优化语义效用、通信时延与功耗。未来借助6G通感算一体化,非地面网络(NTN)将借助社会启发的语义编解码更新机制为智能交通系统提供更鲁棒、广覆盖的语义信息服务。
### 5.3 车载服务场景应用
车载服务场景聚焦于提升车内信息娱乐、个性化体验及车辆状态管理效率,核心在于高效传输富媒体与个性化数据。语义通信凭借其任务导向压缩与知识驱动交互能力,为高清流媒体、车载元宇宙及数字孪生同步等高带宽服务提供创新解决方案。在信息娱乐与沉浸式体验方面,语义通信可传输视频内容语义特征并由接收端利用生成式人工智能重构以实现原始视频流的极限压缩,参考文献[11]的SemanticTwin架构提取上传轻量化社交行为语义特征用于云辅助渲染与同步,显著提升流媒体等服务的体验质量;参考文献[12]表明在车载元宇宙中通过语义通信传输虚拟世界更新所需的语义信息而非完整数据,并联合优化语义效用与通信开销,是支撑沉浸式车载应用的可行路径。实现此类复杂跨车辆、云、边缘的语义交互首先需解决服务本身的跨网络可达性基础工程挑战,传统车载SOME/IP协议无法支持跨子网通信,参考文献[49]提出"vsomeip+ETCD+Nginx"解决方案,通过全局服务注册与网关代理为语义驱动的富媒体服务建立稳定跨网络通信管道。在车辆状态管理与个性化服务方面,语义通信结合联邦学习与边缘计算实现高效协作同时保护数据隐私。车辆本地提取任务相关语义特征(如异常模式、能耗趋势)后上传,避免原始数据泄露并节省带宽,参考文献[25]的联邦学习赋能框架通过联合优化语义提取与资源分配高效支持个性化推荐服务模型更新;参考文献[23]在车联网数字孪生网络研究中构建语义感知模型实现高效协同计算与状态同步。这些应用同样依赖底层服务通信机制确保模型更新、控制命令等语义信息的可靠及时交换。
## 6 车联网语义通信技术挑战与发展趋势
### 6.1 技术挑战
车联网语义通信的大规模高可靠应用仍面临技术范式与严苛车联网环境交织带来的多维挑战。语义一致性与动态知识管理挑战方面,语义信息价值取决于收发双方知识库的对齐,开放异构车联网中不同实体可能对同一场景存在歧义理解,且知识库需持续演化,海量分布式节点间语义资源的高效一致更新与低时延匹配构成前所未有的系统复杂度。高动态与资源约束挑战方面,高速移动导致信道与拓扑快速变化,要求语义处理与资源分配策略具备毫秒级在线决策能力,但此类方法本身的训练开销与决策时延在高密度场景面临严峻考验;同时语义模型的计算密集性与车辆终端有限算力、能耗之间存在直接冲突。安全与信任挑战方面,语义通信的开放性与知识依赖性引入安全新维度,恶意攻击可污染知识库、植入后门模型或注入虚假语义造成协同系统系统性破坏,需同时防御传输窃听、语义编码层模型投毒及通信实体层不可信行为,构建内生安全语义通信系统的复杂度极高。大模型能力与部署张力方面,大语言模型与生成式人工智能带来强大语义理解与生成能力,但其庞大参数量与计算需求使直接车载部署困难,如何有效压缩并适配车侧算力同时满足个性化服务需求是亟需解决的核心工程挑战。
### 6.2 发展趋势
为应对上述挑战,车联网语义通信技术正朝分布式协同智能、轻量化自适应决策及与大模型和"通信-感知-计算"深度融合方向演进。首要趋势是构建动态协同知识生态系统以解决语义一致性与知识更新挑战,未来系统将依赖分布式协同训练框架实现高效知识共创与持续演化,如参考文献[55]提出的V-FedMM框架通过智能调度多模态数据与车辆资源高效构建共识语义模型,参考文献[56]研究表明联合优化模型分割与资源配置可实现低成本个性化模型更新。其次,轻量化与自适应实时决策能力持续强化以匹配车联网高动态特性,模型压缩、边缘人工智能等技术促进复杂语义处理模型的轻量化车载部署,同时深度强化学习与在线学习的深度融合推动系统实现毫秒级自主优化,基于强化学习的资源管理正向多智能体、分层注意力及元学习方向发展以应对环境不确定性。最后,大模型驱动与"通信-感知-计算"一体化正塑造下一代系统架构,大语言模型作为强大语义引擎与语义通信框架结合将支持开放场景的零样本推理与指令化服务定制,未来趋势是构建以语义为链接、任务效用为目标的"通信-感知-计算"智能体,与数字孪生、区块链等技术深度融合实现从环境语义感知、意图理解到协同控制与可信执行的完整闭环,推动车联网从"连接"到"认知"的范式跃迁。在此过程中,正交时频空(OTFS)调制等具有内在抗多普勒优势的新波形可能在物理层与语义通信系统实现更深融合,为通感算一体化提供更坚实的底层基础。