SWIFT-FMQA:基于滑动窗口的二次优化退火Factorization Machine(FM)增强方法

《IEEE Access》:SWIFT-FMQA: Enhancing Factorization Machine With Quadratic-Optimization Annealing via Sliding Window

【字体: 大 中 小 】 时间:2026年01月26日 来源:IEEE Access 3.6

编辑推荐:

  无导数(Derivative-Free, DF)优化问题旨在寻找使目标函数输出最小化或最大化的输入,而该目标函数的输入-输出关系未知。采用Factorization Machine(FM)作为代理模型、通过Ising机迭代引导解搜索的Factorization

  
无导数(Derivative-Free, DF)优化问题旨在寻找使目标函数输出最小化或最大化的输入,而该目标函数的输入-输出关系未知。采用Factorization Machine(FM)作为代理模型、通过Ising机迭代引导解搜索的Factorization Machine with Quadratic-optimization Annealing(FMQA)是该类任务的一种有前景的方法。尽管FMQA在各应用中展现了强劲的优化性能,但其优化效果常随迭代次数增加而停滞。导致此停滞的一个因素是FM训练所用数据集中的数据点数量持续增长——随数据累积,新增数据点对整体数据集的贡献趋于被稀释。研究人员据此假设此种稀释削弱了新数据对提升FM预测精度的作用。为解决此问题,研究人员提出名为Sliding Window for Iterative Factorization Training combined with FMQA(SWIFT-FMQA)的新方法。该方法改进FMQA,利用滑动窗口策略顺序构建数据集,至多保留指定数量的近期新增数据点。SWIFT-FMQA旨在增强新增数据点对代理模型的影响。数值实验表明,相比FMQA,SWIFT-FMQA可用更少的目标函数评估次数获得更低代价的解。
论文解读:SWIFT-FMQA——基于滑动窗口策略缓解FMQA数据稀释问题的无导数优化方法改进
一、研究背景与动机
无导数(Derivative-Free, DF)优化问题指目标函数解析式未知、仅能通过仿真或实验获取输出值的组合优化问题,典型应用包括药物设计、材料界面热导率优化及卷积神经网络架构设计等,此类问题中目标函数调用成本高昂,需在最少评估次数下寻优。Factorization Machine with Quadratic-optimization Annealing(FMQA,当使用非量子Ising机时亦称FMQA)将目标函数用二阶Factorization Machine(FM,一种可表示为Quadratic Unconstrained Binary Optimization(QUBO)形式的机器学习代理模型)近似,每轮用Ising机采样候选解、评估后加入训练集重新训练FM,迭代推进寻优。然而FMQA在后期迭代中出现解质量改善停滞现象。研究人员分析认为,原FMQA将数据全量追加至训练集致数据集无限膨胀,新增优质解在均方误差(Mean Squared Error, MSE)损失函数中被旧数据"稀释(Data Dilution)",梯度更新受历史大数据主导而产生高"模型惯性(Model Inertia)",FM难以及时拟合低能区特征。为此研究人员提出SWIFT-FMQA,引入固定大小滑动窗口限制训练集规模,只保留最近追加的数据点,减轻稀释效应并突出新采样信息,发表于《IEEE Access》。
二、主要关键技术方法
研究人员选用低自相关性二元序列(Low Autocorrelation Binary Sequences, LABS)问题(N位自旋序列的自相关平方和E(s),转化为最大化Merit Factor F(s)=N2/[2E(s)]后再取负作为最小化目标,二元变量xi与自旋si转换关系si=2xi-1)为DF优化基准。FM为二阶分解形式fFM(x;θ)=ω0+Σωixi+Σ?vi,vj?xixj(隐向量维度K为超参),用AdamW最小化MSE训练。Ising求解器采用D-Wave模拟退火(Simulated Annealing Sampler)。初始随机生成Dinit个样本建初集;每轮Ising采样Dreads个解,按真实目标值升序选前Dadds个加入数据集;FMQA直接并集追加,SWIFT-FMQA则执行??(t)=??(t-1)+??(t)-??old(t),其中??old(t)为超出窗口上限Dlatest的最旧数据点(多选集允许重复解以增强对优质区的学习),保证|??(t)|≤Dlatest。总迭代数Niter固定,对比不同Dlatest、问题规模N、FM隐维K及Dinit下的残差(求得最优值与最优已知值之差)。
三、研究结果
SECTION V. Results
研究人员固定N=64,扫描Dlatest=10~400(FMQA对应无窗口/无限大)。结果表明当10≤Dlatest≤300时SWIFT-FMQA残差低于FMQA,且Dlatest=50~150时SWIFT-FMQA以更少目标函数评估达到FMQA最终残差,早期与后期迭代改善速率均更快。取Dlatest=100进一步验证:在N=16/49/64/81/101各规模、K=4/6/10/16各隐维、Dinit=1/10/100各初集大小下,SWIFT-FMQA所得最小目标函数值(负值)均不劣于FMQA,多数情形显著更优;即便Dinit=1时仍具改进,说明可减少昂贵初评成本。N=16时可证明找到全局最优,SWIFT-FMQA找到最优的次数不少于FMQA且在Dlatest较大时优于FMQA。不同N对应的最优Dlatest略有差异,总体呈适中窗口(不过小不过大)最优。
四、讨论与结论总结
讨论指出SWIFT-FMQA优势源于平衡模型惯性与泛化能力:过大Dlatest(FMQA)致训练敏捷度(Training Agility,即损失函数对θ梯度的L?范数)随迭代骤降两个量级证实高惯性;过小Dlatest(如=1)过拟合致测试误差高、搜索方向失准。适中Dlatest(≈100)维持适度敏捷与泛化,允许重复解未引起梯度消失。LABS为四次式而FM仅二次存在结构失配故N=64未达理论全局最优,但现实中DF问题亦难知真值且评估预算有限,SWIFT-FMQA以更少评估获更优解具实用价值。
结论部分翻译:本研究主要贡献为:(1)提出SWIFT-FMQA,采用滑动窗口策略顺序构建FM训练集,限定保留最近追加数据点上限Dlatest以防数据稀释并缓解高模型惯性;(2)通过对LABS问题的数值实验证明SWIFT-FMQA优化性能优于FMQA,可用更少目标函数评估找到更低代价解;(3)揭示SWIFT-FMQA对FM隐维K及初始数据集大小Dinit的超参不敏感,无需精细调参即可保持高性能。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号