基于语义通信的低碳可持续框架在人员重新识别中的应用

《IEEE Transactions on Sustainable Computing》：Semantic Communication-Based Low-Carbon Sustainable Framework for Person Re-Identification

语义通信驱动的低碳可持续人像重识别框架在Market-1501、CUHK03和HZAU-SCUEC01数据集上实现最佳Rank-1准确率和mAP，同时将数据传输量、CPU/GPU功耗及温度分别降低96.8%、39.6%/40.9%、27.9%/29.7%，并减少76.6%的识别延迟。

　　

摘要：

人物重新识别（Re-ID）是安全系统和视频监控中的关键技术。然而，现有的大多数方法都专注于精确的Re-ID，这些方法不仅忽略了传输开销、计算能耗和碳排放问题，而且不可持续。此外，在现实世界场景中，由于摄像机的鸟瞰（BEV）视角，个人语义通常会被模糊和扭曲。交叉照明和面部遮挡也削弱了关键的个人语义。这些缺陷导致了大量的碳排放和较差的Re-ID性能。为了降低视频传输开销、计算能耗和碳排放，同时保证Re-ID的准确性，本文提出了一种基于语义通信的低碳可持续框架（SC-LCSF）用于Re-ID。SC-LCSF采用基于增强型语义感知注意力机制（ESA-SE）的语义编码器来提取个人语义。仅在语义层传输语义信息，然后由多粒度语义解码器（MG-SD）将其解码为个人ID。使用两个广泛使用的公共数据集Market-1501和CUHK03，以及一个新的真实世界数据集HZAU-SCUEC01来训练SC-LCSF并评估其性能。实验结果表明，与最先进的方法（SOTA）相比，SC-LCSF在所有数据集上都取得了最佳的Rank-1和mAP准确率。此外，SC-LCSF在低碳可持续计算方面也表现出显著的性能提升——传输数据量、CPU功耗、CPU温度、GPU功耗、GPU温度和Re-ID延迟分别降低了96.8%、39.6%、27.9%、40.9%、29.7%和76.6%。

引言

人物重新识别（Re-ID）能够在不重叠的摄像机视角中识别目标人物，在安全系统和视频监控中发挥着关键作用[1]。然而，多摄像机带来的视角、背景和姿态的差异导致了高昂的计算成本，并对Re-ID的性能构成了重大挑战[2]。尽管人体形态在不同摄像机下的表现有所不同，但在语义层面上，不同的特征仍然对应同一个人。传统的Re-ID方法主要采用手动特征提取和相似性测量技术[3]。虽然这些方法可以在一定程度上区分不同的行人，但它们在特征提取和数据集标注过程中需求较高，且劳动密集且不可持续。因此，如何在Re-ID模型的可持续性和准确性之间取得平衡成为一个棘手且根本性的问题。