摘要
音频深度伪造检测系统在内部验证方面往往表现优异，但在面对使用此前未见过的AI工具生成的合成语音时的实际推理场景时，却难以保持良好的性能。为解决这一问题，本研究提出了光谱多表示融合（SMRF）框架，该框架通过整合多种光谱表示及决策级融合策略，提升系统在跨领域场景下的鲁棒性。此外，还引入了基于稳定性考虑的多指标选择（SAMMS）策略，通过同时考量预测性能与跨表示稳定性来选择合适的架构。研究采用了四种光谱表示方法（对数幅度频谱图、梅尔频谱图、离散小波变换和恒定Q值变换），并结合多种卷积架构以及互补的投票策略对所提出的框架进行了测试。实验结果表明，那些在内部验证中性能超过95%的模型，在外部推理时仍可能表现出极低的合成音频检测率（甚至低于10%）。而基于融合的策略则通过利用不同光谱域中的互补信息，显著提升了系统的鲁棒性。研究结果还表明，投票策略以及SAMMS稳定性参数都会对系统的最终性能产生重要影响。尤其是采用“一硬投票”法结合两种通过特定算法选出的架构，能够在合成音频检测与真实音频保留之间实现最佳平衡，在跨领域推理场景下的检测率可接近75%，无论是合成音频还是真实音频都能达到这一水平。这些发现表明，基于稳定性考虑的融合策略是提升现实场景中音频深度伪造检测系统鲁棒性的有效途径。
