用于评估机器学习模型特征级隐私风险的诊断流程：坐标依赖指数、绝对信息增益与表征询问器

《Machine Learning and Knowledge Extraction》：Metrics and a Single-Pass Framework for Disentangling Feature-Level Privacy Risk in Machine Learning Models

　　本文介绍了一套用于评估机器学习（ML）模型中特征级隐私风险的诊断流程，其核心是坐标依赖指数（CDI）——一个无单位的跨模态度量指标，旨在量化ML模型压缩过程后仍存留的坐标依赖相对程度。CDI以信息瓶颈原理为理论基础，建立了一个精确的代数阈值——不变性界限，位于e^?1≈0.37——用于检测不同数据类型之间的坐标依赖。为便于对潜在泄漏进行直接的跨模态比较，我们引入绝对信息增益（AIG）作为补充度量指标，将超出阈值的部分映射为绝对比特数。为将这一双度量方法付诸实践，我们开发了表征询问器（RI），这是一种逆向多任务学习架构，解决了ML隐私审计中长期存在的“审计可扩展性缺口”。在30次试验中的实验结果表明，RI框架具有强大的初始化稳定性，并通过将传统的、序列化的隐私审计测试组合整合为统一的训练目标，实现了单遍高效性。该框架相比生成对抗式审计测试组合实现了最高达91倍的加速比，同时保持了较强的诊断秩次对齐能力，其深度神经网络和梯度提升决策树上的鲁棒性验证了RI-CDI-AIG流程作为一种有原则的、架构无关的方法论，可用于解耦并排序ML模型中的信息脆弱性。