加权神经网络与删失下加权最小二乘估计器

《Neural Networks》:Weighted neural network and weighted least square estimators under censorship

【字体: 大 中 小 】 时间:2026年05月03日 来源:Neural Networks 6.3

编辑推荐:

  研究人员提出了一种结合神经网络实用性与最小二乘法理论优势的删失回归混合估计方法。该方法将删失权重(censoring weights)作为预定义变量纳入神经网络的训练损失函数,使模型在学习过程中有效处理删失观测值。在此基础上,研究人员在定义的神经网络函数空间内

  
研究人员提出了一种结合神经网络实用性与最小二乘法理论优势的删失回归混合估计方法。该方法将删失权重(censoring weights)作为预定义变量纳入神经网络的训练损失函数,使模型在学习过程中有效处理删失观测值。在此基础上,研究人员在定义的神经网络函数空间内引入最小二乘估计器(least squares estimator)以估计网络参数。该混合方法兼具神经网络的实证性能与稳健的理论保证。具体而言,论文建立了L2估计误差的几乎必然收敛定理(almost sure convergence theorem),证明了方法的鲁棒性。仿真研究评估了估计器性能,并通过真实数据案例验证了该方法的有效性。
论文解读:加权神经网络在删失数据回归中的应用
研究背景与动机
在过去的几十年里,人工神经网络(Artificial Neural Networks, ANNs)因其逼近复杂非线性函数的卓越能力,已成为现代机器学习的基础工具。然而,标准的回归框架通常假设数据是完全观测的。在生物医学研究、生存分析和可靠性工程等领域,删失(censoring),特别是右删失(right censoring)现象十分普遍。当观测值因随访丢失或研究提前终止而仅被部分知晓时,若忽视删失机制,将导致估计结果产生偏差且不一致。尽管已有研究通过Kaplan-Meier权重或逆概率加权(Inverse Probability Weighting, IPW)对传统最小二乘法进行了扩展,但在高维和非线性场景下仍面临挑战。为此,研究人员致力于将统计技术与现代机器学习框架相结合,提出了修改损失函数以适应删失响应的神经网络模型。本研究正是在此背景下,旨在构建一种既具备神经网络适应性又拥有坚实理论保证的删失回归方法。
研究方法概述
研究人员构建了一种针对右删失数据的基于神经网络的估计器。模型设定为包含kn个神经元的前馈神经网络(feed-forward neural network),其数学形式为∑i=1knζiσ(?itX+νi)+ζ0。网络训练采用加权最小二乘损失函数,其中权重源自Kaplan-Meier估计量,以恰当调整删失影响。参数优化通过梯度下降法实现,并利用反向传播算法计算修改后的损失函数梯度。理论分析建立在Gy?rfi等人(2002)的L2最小化框架及其后续扩展之上。
研究结果
1. 神经网络空间与删失机制(Neural network space and censoring mechanism)
研究人员定义了输入向量X∈Rd和非负输出Y的模型结构。通过引入删失指示变量δi,构建了样本集Dn={(Xi,Zi=min(Yi,Ri),δi);1≤i≤n}。研究明确了在存在随机删失变量R的情况下,如何通过网络结构捕捉变量间的非线性关系。
2. 最小二乘右删失估计器模型(Least square right censored estimator model)
研究的核心目标是基于样本估计回归函数q(x)=E(Y∣X=x)。为此,研究人员定义了删失下的L2风险最小化问题,估计器q~n(.)通过最小化经验风险n1∑i=1nδiSn(Zi)∣g(Xi)?Zi∣2获得,其中Sn为生存函数。通过对变量施加适当假设,确保了估计量的相合性。
3. 模拟研究(Simulation study)
仿真结果通过表格形式展示了加权神经网络(NN)估计器与加权最小二乘(WLS)神经网络估计器的表现。研究考察了两种协变量分布(均匀分布X=unifrnd(?π,π,n,10)和高斯分布X=normrnd(0,1,n,10))以及由威布尔分布生成的删失变量(R=wblrnd(6,4,n,1))。结果表明,在不同删失比例和样本量下,该估计器在偏差和方差方面均优于现有方法。
4. 真实数据集应用(Application on a real dataset)
为了验证方法的实际适用性,研究人员分析了来自巴基斯坦费萨拉巴德心脏病研究所(Faisalabad Institute of Cardiology)的临床研究数据。该研究涉及40至95岁心力衰竭患者的医疗记录。案例分析证实了该方法在处理实际临床删失数据时的有效性。
结论与讨论
本研究成功地将神经网络与加权最小二乘法相结合,提出了一种处理右删失数据的混合回归方法。研究的主要贡献在于两点:一是通过引入删失权重修改损失函数,使神经网络在训练阶段能有效处理删失观测;二是将最小二乘原理嵌入神经网络函数类,从而在理论上提供了强有力保证的同时保持了优异的实证性能。研究人员建立了L2估计误差的几乎必然收敛结果,并通过广泛的模拟研究和真实数据应用证实了该方法的优越性。该成果发表于《Neural Networks》,为存在不完整数据的现实应用场景提供了一种强大的替代建模工具。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号