《Neural Networks》：FARCLUSS: Fuzzy Adaptive Rebalancing and Contrastive Uncertainty Learning for Semi-Supervised Semantic Segmentation
编辑推荐：
摘要半监督语义分割在有效利用无标签数据方面面临诸多挑战，包括伪标签的无效使用、类别不平衡问题的加剧以及预测不确定性的忽视。此外，现有方法往往通过严格的阈值筛选来排除不确定区域，从而偏向于主导类别。为解决这些问题，我们提出了一个整体框架，通过四个核心组件将不确定性转化为学习资源：（
摘要
半监督语义分割在有效利用无标签数据方面面临诸多挑战，包括伪标签的无效使用、类别不平衡问题的加剧以及预测不确定性的忽视。此外，现有方法往往通过严格的阈值筛选来排除不确定区域，从而偏向于主导类别。为解决这些问题，我们提出了一个整体框架，通过四个核心组件将不确定性转化为学习资源：（1）模糊伪标签生成，保留来自前K项预测的软类别分布，以增强监督效果；（2）基于不确定性的动态加权，通过熵值相关的可靠性评分来调整每个像素的贡献度；（3）自适应类别再平衡，动态调整损失函数，以应对长尾类别分布问题；（4）轻量级对比正则化，促使特征嵌入更加紧凑且具有区分度。在Pascal VOC和Cityscapes数据集上的大量实验表明，我们的方法优于现有的最先进技术，在代表性不足的类别及边界模糊的区域取得了显著提升。
引言
语义分割是指为图像中的每个像素分配类别标签的过程，它为诸多关键应用提供了支持，比如自动驾驶和医学诊断。通过实现像素级的场景分析，它有助于那些需要精细理解环境信息的系统Tarubinga等人，2025年。然而，完全监督式的分割技术通常依赖于包含详细标注的大量数据集，这使得其在城市场景分析或医疗保健等领域应用时成本高昂，因为手动标注既费时又费力Vu等人，2019年。为减少对标记数据的依赖，半监督语义分割应运而生，作为一种有前景的替代方案。通过结合少量标记图像与大量无标签数据，半监督语义分割框架旨在在大幅降低标注需求的同时，实现与完全监督模型相当的性能。该领域的早期研究集中在伪标签生成上Lee，2013年，即由教师模型为无标签数据生成近似标签，再由学生模型学习这些标签。后续研究引入了一致性正则化Laine和Aila，2016年，通过强制预测在各种几何或光度变换下的不变性。尽管这些方法已取得一定改进，但仍然存在三个主要问题：伪标签的使用不够理想、长尾数据集中的类别不平衡，以及预测不确定性处理不当。
虽然近期的一些方法试图解决这些问题，但往往缺乏全面的解决方案。大多数方法将伪标签的不确定性视为不利因素，通过严格阈值筛选掉低置信度的预测结果，从而忽略了不同可能类别之间的微妙概率关系。例如，位于“人行道”和“道路”边界处的像素，可能属于这两个类别的概率几乎相等，但却常常被剔除，从而失去了宝贵的监督信号。UniMatch Yang等人，2023年，结合了特征层和输出层的一致性，但依靠固定的置信度阈值来生成确定的伪标签。这样一来，那些模糊的预测结果，尤其是在物体边界或被遮挡区域附近的预测，会被删除，导致信息丢失。
类别不平衡问题也尚未得到妥善解决。虽然有一些方法会调整全局阈值，但它们无法根据每批数据中的类别分布来重新平衡损失，从而导致对多数类别的偏好持续存在。PS-MT Liu等人，2022b年，采用了带有动量教师模型和自适应阈值的渐进式自我训练方法，但缺乏明确的类别再平衡机制。因此，在伪标签中，城市场景中的“道路”或“天空”等主导类别占比过高。
那些利用对比学习来解决前述问题的方法，由于需要进行大量的特征对齐，往往会产生较高的计算成本，限制了其在大规模数据集上的应用。ReCo Liu等人，2022a年，通过区域级对比学习提高了特征的区分度，但其成对嵌入比较带来了较大的开销。交叉伪监督CPS Chen等人，2021年，训练了相互监督的双重网络，但对伪标签采用统一权重，没有考虑到需要对不确定区域进行差异化处理。
本研究提出了一种统一框架，系统地解决了半监督分割中的常见难题，包括伪标签噪声、类别不平衡以及计算开销问题。首先，我们引入了模糊伪标签生成方法，从每个像素的前K项类别概率中得出软标签分布。与以往方法采用严格阈值不同，我们的方法将不确定性视为有价值的监督信号，从而使模型能够从边界不清的区域（如“汽车”和“道路”之间的路面边缘）中学习，而非将其丢弃。
其次，我们实现了基于不确定性的动态加权机制，根据标准化熵值为每个像素分配权重，从而在训练过程中调节伪标签的影响。这一机制可以降低高熵值、噪声较大的区域（如重叠物体）的影响，同时增强高置信度预测的贡献。相比CPS方法，这一机制通过采用更具区分度的策略，提升了性能Chen等人，2021年。
第三，我们提出了自适应类别再平衡方法，根据每批数据中伪标签的出现频率动态调整损失权重，从而缓解类别不平衡问题。这样一来，像“交通标志”这类代表性不足的类别，无需手动调整即可获得足够的优化关注。
最后，我们引入了基于原型设计的轻量级对比正则化方法。通过从高置信度标记的像素中计算出各类别的质心，该方法能够在避免像ReCo Liu等人，2022a年那样进行大量成对比较所带来的计算负担的同时，促进特征的高效聚类。
尽管现有的方法已经分别解决了伪标签利用效率低、类别不平衡以及计算成本高等问题，但它们往往无法在统一的框架内同时解决这些问题。本研究的主要贡献如下：
- •
模糊伪标签生成：从每个像素的前K项类别概率中生成软标签分布，将不确定性视为学习信号，而非丢弃不确定的像素。
- •
基于不确定性的动态加权：通过标准化熵值来调整每个像素的伪标签影响，减少模糊区域的噪声，同时提升高置信度预测的学习效果。
- •
自适应类别再平衡：根据每批数据中伪标签的出现频率动态调整损失权重，无需手动干预即可改善少数类别的学习效果。
- •
轻量级对比正则化：通过基于类别质心的对比学习，避免昂贵的成对比较操作，同时提升特征的紧凑性。
章节节选
教师-学生框架与伪标签优化
半监督语义分割通过教师-学生框架取得了显著进展，这类框架中模型会从无标签数据中生成伪标签，用于指导训练。早期的方法如FixMatch Sohn等人，2020年，采用置信度阈值来筛选伪标签，结果导致虽然置信度很高但准确性低的预测结果，反而强化了模型的错误（确认偏误）。交叉伪监督CPS Chen等人，2021年，通过联合训练两个网络来缓解这一问题
方法
我们的方法整合了模糊伪标签生成、基于不确定性的动态加权、自适应类别再平衡以及高效的对比正则化技术，旨在解决伪标签利用效率低、类别不平衡问题以及预测不确定性未被充分利用的问题。我们提出的方法概述见图2，相应的伪代码则见算法1。
实现细节
我们的模型是基于PyTorch实现的，并在Pascal VOC和Cityscapes数据集上进行了训练，训练过程遵循常见的半监督分割流程Yang等人，2023年。我们以DeepLabV3+为基础架构，采用ResNet-50和ResNet-101作为主干网络Deng，2009年；He等人，2016年，并设置{6, 12, 18}的膨胀率，同时采用标准的均值教师EMA更新方式Sohn等人，2020年。Pascal数据集的训练周期为80轮，Cityscapes数据集则为240轮。初始学习率设置为0.001，
结论
在本研究中，我们提出了FARCLUSS这一统一框架，旨在解决半监督语义分割中的关键问题，包括伪标签利用效率低、类别不平衡以及计算效率低下等问题。通过整合模糊伪标签生成、基于不确定性的动态加权、自适应类别再平衡以及轻量级对比正则化技术，FARCLUSS使得学习过程更具信息量且更为均衡。在各类基准数据集上的大量实验都验证了
CRediT作者贡献说明
Ebenezer Tarubinga：撰写——初稿、可视化、验证、方法论、研究分析、形式化分析、概念设计。Jenifer Kalafatovich：撰写——审阅与编辑、撰写——初稿、验证、方法论。Seong-Whan Lee：撰写——审阅与编辑、监督、方法论、资金获取。
利益冲突声明
作者们声明以下可能被视为潜在利益冲突的财务利益/个人关系：Seong-Whan Lee表示获得了信息与通信技术规划评估研究所IITP的财政支持。其他作者则声明自己不存在任何可能影响本文研究结果的已知财务利益或个人关系。
致谢
本研究得到了信息与通信技术规划评估研究所IITP的资助，该机构由韩国政府（MSIT）提供支持（项目编号——RS-2019-II190079，属于韩国大学人工智能研究生院项目；项目编号——IITP-2025-RS-2024-00436857，属于信息技术研究中心ITRC项目；项目编号——IITP-2025-RS-2025-02304828，属于人工智能明星人才培养计划）。
Ebenezer Tarubinga|Jenifer Kalafatovich|Seong-Whan Lee
