《Acoustics》：AI4TEN: Fine-Tuning Pre-Trained Audio Transformers (BEATs, AST) for Cross-Dataset Acoustic Vehicle Classification with Domain Adaptation
编辑推荐：
路边麦克风采集的声学车辆分类可支持源特异性交通噪声监测，但在某一数据集上训练的分类器向不同环境录音的泛化性能较差。研究人员比较了预训练音频Transformer（BEATs、AST）与CNN基线在五类车辆（轿车、卡车、摩托车、巴士、背景）跨数据集分类上的表现，
路边麦克风采集的声学车辆分类可支持源特异性交通噪声监测，但在某一数据集上训练的分类器向不同环境录音的泛化性能较差。研究人员比较了预训练音频Transformer（BEATs、AST）与CNN基线在五类车辆（轿车、卡车、摩托车、巴士、背景）跨数据集分类上的表现，训练集采用德国IDMT-Traffic数据集，测试集采用澳大利亚MELAUDIS数据集。两种域自适应方法（DANN、ArcFace）应用于表现最优的Transformer。BEATs取得平衡F1为0.46，较CNN基线（0.26）提升77%；AST取得F1=0.43，提升65%。两类预训练Transformer均大幅优于基线，且自监督预训练比有监督预训练产生略具可迁移性的表征。ArcFace度量学习取得最高跨数据集F1（0.50），略优于标准微调；DANN虽降低跨数据集性能，但在麦克风鲁棒性上得分最高（F1=0.80）。代表性不足的巴士类（53个训练样本）经ArcFace后F1从0.38升至0.54。所有模型麦克风鲁棒性均强（BEATs F1=0.75），证实录音环境而非硬件差异主导域偏移。域自适应策略选择应依据预期域偏移类型而定。
研究背景方面，欧盟环境噪声指令下路边麦克风声学车辆分类可低成本实现源特异性交通噪声归因，但现有CNN方法在同部署内可达80%至98%准确率，跨站点因路面、交通构成、背景噪声、麦克风硬件与地域差异而泛化骤降。伴随AI4TEN项目中合成数据增广方案仅达平衡F1 0.39的局限，研究人员指出预训练音频Transformer与域自适应是填补缺口的方向。本文即在跨大洲（德→澳）设定下，检验BEATs（自监督）与AST（有监督）相对CNN基线的跨数据集迁移能力，并评估DANN与ArcFace两类域自适应的附加价值，同时利用IDMT-Traffic双麦克风（MEMS与sE8电容麦）平行录音分离麦克风变异与环境偏移，并考察53样本巴士少样本类。
关键技术方法上，研究人员取IDMT-Traffic德国四站点双通道录音中CH12（MEMS）8718段2秒单车辆片段作训练，MELAUDIS澳大利亚22站点14663段作跨数据集测试，同集CH34（sE8）8788段作麦克风鲁棒性测试；音频统一重采样至22050 Hz单声道。基线为三层CNN（约161K参数）吃MFCC；BEATs（约90M参数，iter3+ AS2M检查点）与AST（约86M参数，MIT/ast-finetuned-audioset-10-10-0.4593）均做两阶段微调（先冻主干训头，后整体小学习率端到端）。域自适应在冻BEATs主干上接DANN（梯度反转层对256维嵌入做源/目标判别）或ArcFace（角边距m=0.50、温度s=30.0度量头）。类不平衡用逆频权重处理，主指标为平衡F1宏平均（每类50样本均衡子采样）。
研究结果部分，模型比较小节显示，MELAUDIS上BEATs F1=0.46、AST 0.43、CNN 0.26±0.03，BEATs较CNN提77%；CH34上BEATs 0.75、AST 0.62、CNN 0.52±0.04。自监督BEATs迁移性略优于有监督AST，Transformer预测方差也更低。每类分析小节指出，BEATs将轿车从0.06提至0.55、巴士从0.38提至0.51（仅53训练样本），背景达0.62；卡车仍最弱（0.16）因与巴士低频柴油声重叠。麦克风鲁棒性小节表明，CH34较MELAUDIS全面抬升，背景BEATs达1.00、巴士0.84、轿车0.67，证明环境地理因子偏移大于麦克风硬件偏移。域自适应结果小节中，ArcFace在MELAUDIS获最高F1 0.50（卡车近翻倍至0.31、摩托0.62），DANN在同集跌至0.31（负迁移），但在CH34达全场最高0.80，说明对抗对齐宜于纯硬件偏移、度量学习宜于多因子环境偏移。
讨论部分总结，研究人员强调跨大洲协议下预训练Transformer相对CNN基线的显著提升与BEATs微弱优势；域自适应非普适增益而是偏移类型依赖——ArcFace缓减环境域隙、DANN仅利麦克风域隙却损跨洲泛化；少样本巴士类借AudioSet预训练特征空间获益；CH34与MELAUDIS落差确证录音环境主导域偏移。局限性含训练集极小致Phase 2过拟合、冻主干限域对齐柔性、仅两域法、Clip级无时序上下文、未测边缘推理成本。
结论部分翻译如下：本研究评估预训练音频Transformer与域自适应在五类（轿车、卡车、摩托车、巴士、背景）跨数据集声学车辆分类上的表现，训练用德国IDMT-Traffic、测试用澳大利亚MELAUDIS，五模型同条件以平衡F1宏平均为指标。两研究问题均获答：其一，预训练Transformer大幅优于从头CNN，BEATs F1=0.46（较CNN 0.26提77%）、AST 0.43（提65%），BEATs自监督表征迁移性略优AST有监督；其二，域自适应结果分化，ArcFace跨数据集最高0.50微超BEATs微调0.46，DANN因负迁移跌至0.31但CH34最高0.80，效用依偏移类型而定。预训练表征将53样本巴士类从0.38提至BEATs 0.51及ArcFace 0.54；麦克风鲁棒性强（BEATs CH34 0.75），MELAUDIS与CH34落差证实环境地理因子主导偏移、麦克风变异次之。上述发现对欧盟环境噪声指令下低成本路边麦克风车辆分类具直接意义，域自适应策略应据部署偏移类型选取。未来方向含多国多气候数据验证、缓解主干过拟合、试对比/伪标签/多源域自适应、扩至声音事件检测（SED）多标签、PaSST等知识蒸馏压缩、扩充电动车与自行车等类。
