《Energy and AI》：Evaluating transferability of recommender systems from entity-level data to spatially aggregated household data in the context of green technology adoption
编辑推荐：
本研究探究了推荐系统在光伏（PV）采纳预测中从实体级数据向空间聚合住户数据迁移的可行性，旨在解决《通用数据保护条例》（GDPR）等隐私法规所施加的主要限制。通过论证推荐系统可基于公开可用的地理空间与社会经济数据集运行，本工作为高分辨率绿色技术采纳分析与能源系统
本研究探究了推荐系统在光伏（PV）采纳预测中从实体级数据向空间聚合住户数据迁移的可行性，旨在解决《通用数据保护条例》（GDPR）等隐私法规所施加的主要限制。通过论证推荐系统可基于公开可用的地理空间与社会经济数据集运行，本工作为高分辨率绿色技术采纳分析与能源系统规划建立了一个可扩展的框架。所提出的方法将基于层次聚类的推荐框架进行扩展，并集成局部离群因子（LOF）噪声抑制层，以缓解空间聚合所引入的异质性增强与信息损失问题。该框架在一个包含87个特征、约41.7万条建筑记录的大规模地理空间数据集上进行了评估。研究采用Cohen’s d、Wasserstein距离及互补累积分布函数（CCDF）分析来评估噪声抑制过程对数据引入的偏差与结构性变化，同时考察了聚类距离度量与LOF超参数变化的影响。结果表明，推荐系统可以成功迁移至空间聚合数据，尽管空间聚合显著增加了噪声并降低了基线预测性能。引入基于LOF的稳健性层可将召回率提高10%至80%，同时保持有限的结构失真，从而在预测性能与偏差引入之间识别出一种实际的权衡关系。这些发现为推荐系统在绿色技术采纳研究中的应用提供了坚实基础，并突显了空间聚合推荐框架在数据受限领域中的更广泛适用性。
论文解读：空间聚合数据下绿色技术采纳推荐系统的可迁移性评估
一、研究背景与问题
随着能源消费结构从纯消费者向“产消者”（prosumer）转变，分布式光伏（PV）系统的快速普及对低压配电网规划提出了新要求。准确预测光伏采纳行为成为现代电网规划的关键环节。推荐系统已被证明适用于此类预测任务，尤其是基于协同过滤的方法。然而，《通用数据保护条例》（GDPR）严格限制了对私人家庭实体级数据的访问，导致传统依赖用户交互或个体属性数据的推荐方法无法直接应用于住户尺度。现有可行数据多为空间聚合形式，如邮政编码或区级统计。因此，如何将原本基于实体级数据的推荐系统迁移到空间聚合数据上，成为亟待解决的问题。
空间聚合会带来多重挑战：一方面，聚合导致信息损失，将区域内异质性住户压缩为统一表示，增加数据噪声；另一方面，数据中混杂学校、博物馆等非住宅建筑，进一步加剧噪声；此外，基于距离的相似度度量在聚合空间中可能产生扭曲。为此，研究者提出三个核心问题：推荐系统能否用于预测私人住户的光伏采纳？实体级推荐系统在何种条件下可迁移至空间聚合数据？何种数据处理策略能有效克服噪声问题？
二、研究内容与结论
本研究以柏林为案例，基于城市行政公开的地理空间数据，构建了包含87个特征、约41.7万条建筑记录的数据集，其中约2680条为已安装光伏系统的建筑（作为正标签）。研究人员将Duran等人提出的基于层次聚类的推荐框架进行扩展，引入局部离群因子（LOF）作为噪声抑制层，用于去除与目标人群不一致的非住宅建筑和异常数据点，从而提升数据同质性。
研究采用三种距离度量（欧氏、Jaccard、Hamming）进行层次聚类，并以召回率（recall）为主要评价指标，辅以归一化折损累计增益（NDCG@K）衡量推荐排序质量。由于非采纳者不能简单视为负样本，问题被建模为正-未标记（PU）学习问题。实验结果表明，直接迁移实体级推荐系统至空间聚合数据会显著降低性能（实体级召回率为0.78），且结果方差增大。加入LOF噪声抑制层后，召回率提升10%至80%，其中Jaccard距离下提升最显著。通过Cohen’s d、Wasserstein距离和互补累积分布函数（CCDF）分析数据结构性变化，发现污染参数（contamination）在0.3以下时数据分布变化较小，超过0.3后偏差显著增大。因此，约0.3的污染率构成性能提升与数据失真之间的合理折衷。
三、主要技术方法
本研究采用的关键技术方法包括：基于聚合层次聚类的推荐系统框架；局部离群因子（LOF）异常检测噪声抑制层；三种距离度量（欧氏、Jaccard、Hamming）用于聚类和LOF；Cohen’s d、Wasserstein距离和CCDF用于评估过滤引起的数据结构变化；以召回率和NDCG@K作为评价指标。数据来源为柏林城市行政公开的地理空间门户，涵盖建筑信息、人口密度、犯罪统计、车辆登记及光伏安装记录等。样本队列来自柏林全市范围的数据集，正标签取自功率大于30 kW的光伏系统安装记录，因为小于30 kW的住户级数据受GDPR限制无法公开获取。
四、主要结果
4.1 基线迁移性能：直接应用实体级推荐系统于空间聚合数据时，召回率较实体级结果（0.78）明显下降，且方差增大。这归因于空间聚合将不同类型住户混入同一空间单元，导致数据噪声增加。
4.2 LOF异常感知亲和建模：通过在预处理阶段引入LOF，过滤与目标人群不一致的建筑类型（如政府建筑、博物馆、商场等），数据集同质性提高。实验显示，邻居数对性能影响轻微，而污染参数影响显著。当LOF距离度量与聚类度量一致时，性能提升更稳定。Jaccard距离下召回率提升高达80%，Hamming提升23%，欧氏提升约10%。NDCG@K分析表明，高排序质量得以保持，尤其在K值较小时表现优异，有利于资源有限的配电系统运营商优先定位高潜力用户。
4.3 LOF对数据结构的影响：Cohen’s d分析显示，污染率≤0.3时，绝大多数特征的效应量绝对值小于0.2，说明均值偏移很小；污染率>0.3后，超过0.2的特征增多。Wasserstein距离和CCDF分析同样表明，污染率≥0.3后数据尾部发生明显变化。按建筑类型分析去除比例发现，异质性强的非住宅类型（海关、购物中心、议会等）几乎被完全去除，而住宅类建筑保留率超过70%，说明LOF主要作为类内去噪机制，未对目标类造成严重偏差。
4.4 可复现性：研究者详细描述了方法流程，包括基础数据要求、正标签定义、类别编码方式、LOF参数选择、聚类截止线优化以及偏差评估协议。强调参数需针对新城市重新推导，但整体框架可迁移至其他地区。
五、讨论与结论
讨论部分指出，空间聚合与距离度量交互是性能下降的根源。使用同一距离度量进行LOF和聚类可获得一致且稳健的结果，因为离群点在同一度量空间中被识别，与聚类结构对齐。污染参数是性能的最大杠杆，但需谨慎避免引入偏差。研究局限包括：正标签仅代表大于30 kW的系统，可能包含商业或公共设施，不完全代表私人住户；单城市评估限制了泛化性；数据可用性因地区而异。
研究结论认为，虽然实体级推荐系统向空间聚合数据迁移可行，但存在显著性能损失。加入LOF噪声抑制层可将召回率提升10%–80%，并在污染率约0.3时达到性能与偏差的平衡。该框架可利用公开地理空间数据生成建筑级光伏采纳倾向分数，为市政部门、配电系统运营商和电网规划者提供实用的决策支持工具，无需依赖昂贵的调查或隐私敏感的家庭记录。未来工作应评估跨城市迁移性、计算复杂度及对其他绿色技术（如电动汽车、热泵）的适用性。
