视觉物联网传感器网络中面向艺术图像分类的隐私保护联邦学习

《Sensors》：Privacy-Preserving Federated Learning for Artistic Image Classification in Visual IoT Sensor Networks

　　

视觉物联网（Visual Internet-of-Things，IoT）摄像机与机构控制的边缘网关在博物馆、画廊及遗产地持续采集艺术作品图像。集中化传输这些图像会暴露藏品内容、展览布局及上下文信息。研究人员提出FedArtSense，一种面向艺术风格与媒介分类的隐私保护联邦学习框架。FedArtSense结合了差异自适应双空间原型对齐、面向模型与原型发布的客户端级差分隐私（client-level Differential Privacy，DP），以及与安全聚合兼容的重要性感知共享稀疏化。在WikiArt、ArtBench-10及七类Behance艺术媒介子集上的实验采用模拟非独立同分布（non-IID）客户端划分、持续性采集偏移、受限上行链路及客户端掉线。在默认客户端级目标ε下，FedArtSense分别在三个数据集上取得相应准确率，同时将WikiArt累计上行流量降至指定GiB。结果表明FedArtSense可作为网关辅助艺术图像分类中隐私—效用—通信权衡的方案；检索、检测、美学预测及直接电池供电摄像机训练不在评估范围内。

研究背景方面，网络化摄像机与机构边缘网关正广泛用于博物馆、画廊、修复实验室及遗产地的艺术品数字化与监测。不同于传统集中式图像库，视觉IoT部署在地理与管理上均呈分布式，直接上传传感器图像会泄露藏品内容、未公开作品、修复进度、权属与展览排布等上下文。联邦学习虽避免原始数据集中，但数据本地化本身不构成形式化隐私保证，模型更新可编码样本与客户端信息，故需客户端级差分隐私。艺术图像同时存在严重统计异构：不同历史收藏、当代设计作品集与传感器采集图像在艺术运动、媒介、主体、光照、视角、色彩响应与压缩伪影上差异显著，直接平均的全局模型在加噪前即发生客户端漂移。已有FedProx、SCAFFOLD、MOON等优化器仅部分解决异构，FedProto类原型方法未对原型本身施隐私保护；而独立客户端稀疏化会破坏安全聚合兼容性。通信上，视觉IoT受限于窄带或间歇上行，高维编码器全量上传成本高。因此需一种在不暴露当前私有更新前提下协调稀疏支撑、联合保护模型与原型、并按统一预算核算隐私的方法。

研究人员开展的研究为提出FedArtSense框架，在视觉IoT传感器网络上以客户端级DP为目标，处理艺术风格与媒介分类。该框架含四耦合操作：双空间原型引导本地学习、自适应客户端级隐私保护、重要性感知稀疏化、安全服务器聚合。结论上，在默认ε下WikiArt、ArtBench-10、BAM分别达指定准确率，WikiArt累计上行由稠密私有平均的指定GiB降至指定GiB，121轮达最终验证精度一定比例，成员推断攻击AUC接近随机猜测，较Fed-SMP在准确率上提升指定百分点，表明改进源于受保护原型对齐、自适应隐私控制与协调稀疏聚合的交互而非放松隐私要求。该文发表于《Sensors》，意义在于首次将艺术图像作为隐私传感器观测，在统一转录级DP预算内联合保护模型更新、类支持值与原型，并提供安全聚合兼容的共享稀疏支撑。

主要关键技术方法概括：研究人员采用ImageNet预训练ResNet-18编码器（512维表征+线性头），在WikiArt（27类风格）、ArtBench-10（10类平衡风格）、BAM七类媒介子集（每类采样均衡）上构建50客户端模拟视觉IoT分区；标签按对称Dirichlet(α)非IID划分，每客户端固定亮度/对比度/模糊/JPEG质量模拟持久采集域偏移；每轮选10客户端做E本地epoch，上行1/3/8 Mbit/s三档带宽异构，客户端掉线由安全聚合幸存阈值处理。隐私侧以Rényi差分隐私（RDP）作曲折计账，模型更新与原型分子/类支持分别裁剪后分布式高斯扰动，通过私有分位数反馈调阈值、进度感知调度分配噪声倍数；通信侧由历史受保护聚合构造共享重要性掩码（持久幅值+方向一致性+陈旧计数），保留探索子集防永久排除，所有客户端传同序支撑以兼容Bonawitz双掩码安全聚合。

研究结果部分，各节简要结论如下：

引言节指出艺术品分布式分类需在不交出本地观测下协作，现有联邦优化器与原型法未覆盖艺术强异构与原型隐私边界，通信约束使独立稀疏不兼容安全聚合，由此引出FedArtSense四项贡献。

相关工作节通过对比FedAvg/FedProx/SCAFFOLD/MOON/FedProto/Fed-SMP等，确立本文差异：水平联邦、双空间原型对齐、转录级联合DP账务、由受保护历史构共享稀疏掩码。

预备知识节定义客户端级邻接（增删整客户端数据集）、C类艺术分类目标、本地原型式(3)(4)、RDP组合式(6)与通信比特式(7)，为后续方法提供符号基。

方法论节含四小节。原型引导本地学习小节用式(9)表征差异、式(10)异质感知系数、式(12)特征空间margin损失与式(15)决策空间一致性损失构成双空间对齐，式(16)为含近端项的本地目标。自适应隐私保护小节对模型Δ_k与原型载荷分别裁剪（式18-20），私有未截尾比例反馈调阈值（式21-23），分布式高斯噪声分享使服务器仅见加噪和（式24-25），进度分数ρ_t（式26）驱动RDP支出再分配（式27-29），全转录满足ε-客户端级DP（式30）。重要性感知稀疏与安聚小节由历史受保护聚合算幅值EMA（式32）、方向一致性（式34）、陈旧计数（式35）得重要性分（式36），按带宽预算定m_t（式37-38），留α_exp探索位（式39），同序投影P_t使双掩码安全聚合可行，式(41-45)给出稀疏模型与原型聚合及支持阈值τ_sup平滑。端到端与理论小节给出Algorithm 1及收敛界式(54)，表明误差由随机方差、异构Γ、裁剪偏置Ξ、原型漂移Δ_P、稀疏保留能γ与DP噪声σ²/R²共同界定。

实验节设50客户端Dirichlet非IID+采集偏移，表6显示FedArtSense在私有法中准确率最高，WikiArt/ArtBench-10/BAM较Fed-SMP提指定点；表7示WikiArt上行降至指定GiB、攻击AUC近随机；图6示其94轮达90%最终精度；图7示ε放宽效用升，ε=2下仍优于Fed-SMP；消融表5去原型引导掉点最多，去决策空间一致或恒λ_k次之，证各组件交互贡献。

讨论与结论翻译：研究人员将分布式艺术风格与媒介分类建模为视觉IoT传感器客户端级私有学习问题，显式考虑标签偏斜与持久采集域偏移；所提异构感知双空间原型学习在单一隐私预算内保护语义参考、支持值与模型更新；隐私安全重要性感知稀疏化在不访问当前未保护更新下协调客户端支撑；分析建立转录级ε-DP并刻画随随机变异、客户端异构、裁剪偏置、原型漂移、保留投影能与隐私噪声的收敛性；在三个基准非IID分区、传感器偏移、带宽异构与掉线下评估完整框架。默认隐私目标下准确率超越Fed-SMP指定百分点，WikiArt上行自稠密私有平均指定GiB降至指定GiB，121轮达最终验证精度一定比例，成员攻击AUC近随机。消融、隐私—效用、传感器偏移与边缘设备结果表明改进来自受保护原型对齐、自适应隐私控制与协调稀疏聚合之交互，而非放宽所述隐私要求。检索、检测、美学预测与电池摄像机直训不在评估范围。