《Mathematics》:Assessing the Performance of Nonprofit Organizations: A Regression-Based Absolute Weight-Restricted Benefit-of-the-Doubt Data Envelopment Analysis Model
编辑推荐:
当非营利组织的项目费用比率(PER)由捕捉同一潜在构念的替代性指标表示时,绩效评价变得更加复杂。PER测量程序存在差异,因此难以确定哪一种单一指标可为绩效评价提供最合适的依据。此外,传统聚合方法可能无法充分反映这些估计值之间的差异。本研究提出一种受益无忧(Bo
当非营利组织的项目费用比率(PER)由捕捉同一潜在构念的替代性指标表示时,绩效评价变得更加复杂。PER测量程序存在差异,因此难以确定哪一种单一指标可为绩效评价提供最合适的依据。此外,传统聚合方法可能无法充分反映这些估计值之间的差异。本研究提出一种受益无忧(BoD)数据包络分析(DEA)框架,用以构建纳入PER替代估计值的PER组合指标。所提方法允许分配给每个PER估计值的相对重要性随年份变化,同时施加权重约束以防止DEA模型对个别PER估计值赋予过度灵活或零权重。实证应用考虑了19年间三种替代性PER估计值。所提模型确保所有估计值均对评价有所贡献,同时保留BoD原则。分析进一步将所得效率得分与排名同BoD DEA模型所得结果进行比较,并在替代权重约束下检验结果的稳健性。研究结果表明,权重约束BoD DEA如何能够为聚合PER替代估计值提供更为平衡和透明的框架,同时允许其相对重要性随年份变化。本研究为评价同一绩效构念的替代测量方法提供了一种结构化方法,在权重确定方面提供了更高的透明度,并为更平衡的绩效评估提供了基础。
绩效评价在非营利组织(NPO)的项目费用比率(PER)由捕捉同一潜在构念的替代性指标表示时变得更加复杂。PER测量程序存在差异,因此难以确定哪一种单一指标可为绩效评价提供最合适的依据。此外,传统聚合方法可能无法充分反映这些估计值之间的差异。本研究提出一种受益无忧(BoD)数据包络分析(DEA)框架,用以构建纳入PER替代估计值的PER组合指标。所提方法允许分配给每个PER估计值的相对重要性随年份变化,同时施加权重约束以防止DEA模型对个别PER估计值赋予过度灵活或零权重。实证应用考虑了19年间三种替代性PER估计值。所提模型确保所有估计值均对评价有所贡献,同时保留BoD原则。分析进一步将所得效率得分与排名同BoD DEA模型所得结果进行比较,并在替代权重约束下检验结果的稳健性。研究结果表明,权重约束BoD DEA如何能够为聚合PER替代估计值提供更为平衡和透明的框架,同时允许其相对重要性随年份变化。本研究为评价同一绩效构念的替代测量方法提供了一种结构化方法,在权重确定方面提供了更高的透明度,并为更平衡的绩效评估提供了基础。
研究背景方面,美国非营利组织在提供社会与经济需求服务及人道主义支持方面发挥重要作用,因此被要求具备问责性与透明度。非营利组织绩效常以财务费用比率衡量,项目管理费用比率(PER)是常用绩效指标之一,即非营利组织用于使命中心项目活动的支出比例,PER越高通常被视为越有效率。然而,由于会计处理与报告要求的差异,同一非营利组织存在多种PER估计值。联合成本的会计处理差异(如将筹资费用分配至项目费用、将实物捐赠视为收入)进一步导致PER差异。不同PER会对同一组织的财务绩效与透明度得出不同结论。文章以匿名非营利组织NPO-X为例,2014年其审计财务报表报告77%支出用于使命中心项目活动,而评级机构Charity Watch采用保守方法将分配到项目活动的募捐成本重新归类为筹资费用后,仅认定50%支出用于使命驱动项目活动,并给予较低绩效评级。该例说明依赖单一指标评估绩效的局限性,凸显了评估慈善机构项目支出的稳健方法的需求。文章提出的方法纳入来自审计财务报表、IRS Form 990和Charity Watch重述值的三种PER。尽管会计处理与报告实践存在差异,但综合考虑替代性PER措施可提供更全面的评价框架,以评估非营利组织是否随时间持续将充足捐赠资金分配到使命驱动项目活动。文章使用DEA纳入替代性PER评估非营利组织绩效,DEA是将多个绩效指标组合为组合指标的系统方法,但传统DEA模型存在局限,因此提出权重约束(WR)受益无忧(BoD)DEA模型。BoD方法为将多个绩效指标组合为组合指数提供了灵活稳健的方法,BoD DEA模型将多个PER估计值组合为组合估计值并实现跨年份绩效比较。少数研究使用DEA评估非营利组织绩效,但将多个PER估计值与权重约束相结合在非营利会计文献中尚未受到充分关注,因此使用所提WR BoD DEA模型评估非营利组织是对非营利问责文献的贡献,也为慈善评估者和捐赠者提供了评估捐赠资金是否通过持续项目资助用于使命相关活动的实用工具。文章提出两个主要研究问题:第一,非营利组织是否持续将大部分捐赠资金分配到使命驱动项目活动,而非通过联合成本分配做法影响项目费用比率;第二,WR BoD DEA模型同时组合三种PER估计值,是否比使用单一PER指标提供更合理的非营利组织绩效评估。文章其余部分包含六个部分:第2节为非营利组织绩效评估中DEA应用的文献综述,第3节描述数据,第4节介绍DEA方法与模型构建,第5节讨论实证结果,第6节进行稳健性检验,第7节总结研究并指出局限与未来研究方向。
在技术方法方面,研究采用权重约束受益无忧数据包络分析(WR BoD DEA)模型。将每个年份视为决策单元(DMU),三种PER估计值作为输出,输入统一归一化为1。首先建立回归模型(截距设为零),将三种PER指标对归一化输入进行回归,以估计系数作为设定DEA权重下限的依据。然后构建绝对权重约束BoD DEA模型,在保留BoD内生加权原则的同时施加权重下限约束,防止模型赋予零权重或过度灵活权重。数据来源为NPO-X网站公开的2006—2024年审计财务报表与IRS Form 990申报文件,样本期为19年,涵盖有利与不利机构评级时期。稳健性检验中将WR BoD DEA结果与无约束BoD DEA模型比较,并考察不同权重约束乘数(w=0.10、0.50、0.80、0.90)下效率得分与排名的敏感性。
研究结果方面,第一,不同PER估计值的差异。三种PER估计值在研究期内呈现相似总体趋势但水平差异显著,审计PER在整个研究期内持续高于Form 990基础PER和重述PER,重述PER最低,表明报告方法之间存在系统性差异而非随机变异。第二,WR BoD DEA相对效率得分。回归系数分别为0.1239、0.9601和0.2609。WR BoD DEA模型所得相对效率得分范围为0.9347至1,平均值为0.9646,得分范围狭窄表明PER效率估计随时间稳定,仅有微小年度变化。2007年效率得分为1,构成最佳实践前沿;2008年(0.9896)、2011年(0.9934)、2012年(0.9920)、2014年(0.9897)和2020年(0.9800)均在效率前沿两个百分点以内,可视为近效率观测值;最低效率得分为2016年(0.9347),其次为2022年(0.9370)和2021年(0.9406),即使在这些年份效率仍高于93%。拟合趋势线斜率为负(?0.0022),表明研究期内相对效率逐渐下降。由于WR BoD DEA模型相对于样本中表现最佳年份评估每年,观察到的下降不必然意味着PER绝对恶化,而是表明后期年份相对于样本期定义的历史效率前沿相对效率较低。第三,排名结果。2007年排名第一,其次为2011年(第2)、2012年(第3)、2014年(第4)和2008年(第5),最低排名年份为2016年(第19)、2022年(第18)、2021年(第17)和2023年(第16)。最高排名集中在研究期早期和中期(2007—2014),大多数最低排名年份出现在2016年之后,表明样本后期相对项目费用绩效适度下降,应解释为相对而非绝对绩效下降。第四,最优输出权重。除2006年外,所有年份获得相同权重方案,表明效率差异主要由PER估计值本身差异驱动而非最优权重变化。审计PER持续获得最大权重,其次为重述PER和Form 990基础PER。归一化后,审计PER对组合PER指标的贡献约为76%,重述PER和Form 990 PER分别约为15%和8%。第五,稳健性检验。WR BoD DEA与BoD DEA结果高度一致,均识别出2007年为最高绩效年份、2016年为最低绩效年份,但WR BoD DEA产生略低的效率估计,且在无约束BoD DEA模型中,DEA评估在6个年份对v1赋予零权重、2个年份对v2赋予零权重、8个年份对v3赋予零权重,例如2009、2010和2011年最优解对v1和v3赋予零权重,表明三种输出中有两种在DEA绩效评估中被有效排除,这证明了使用权重约束BoD DEA模型的合理性。不同权重约束乘数下效率得分敏感性有限,表明所提WR BoD DEA模型提供了稳定的组织项目费用绩效评价。Spearman秩相关分析显示,重述财务数据与DEA排名呈正相关(0.56),Form 990排名与DEA排名呈弱正相关(0.37),审计排名与DEA排名呈负相关(?0.57),审计与重述排名之间呈负相关(?0.68),表明传统PER指标与WR BoD DEA模型的年度绩效排名存在不一致性。
讨论部分总结指出,使用所提模型的实践与政策含义包括:慈善评级被捐赠者用于资助决策,所提DEA模型考虑三种不同PER并将其组合为单一指标,提供了更平衡可靠的效率评级,2016年争议年份具有最低DEA效率得分即为明证;从组织角度看,使用可靠、透明和一致的效率比率可使捐赠者积极看待慈善机构并继续提供资金,还可能产生声誉效应;从政府政策角度看,可靠效率比率对评估慈善治理方面具有价值。研究结论部分翻译如下:本研究提出使用BoD DEA评估三种替代性PER估计值。动机在于,当存在多个PER估计值时,其相对重要性不必先验已知,BoD框架通过允许分配给替代估计值的权重在每个评估年份内内生确定,为这一问题提供了自然方法。然而,无约束BoD DEA的灵活性也可能产生局限,尽管三种PER估计值旨在捕捉同一潜在构念,无约束模型可能实际上仅基于可用估计值的子集进行某一年份的评估,实证结果清楚说明了这一局限。为解决该问题,本研究将权重约束纳入BoD框架,约束限制了替代估计值相对重要性可差异的程度,同时保留BoD DEA的内生加权原则,从而避免任何个别估计值被完全排除,并提供更平衡的可用信息聚合。所得效率得分与排名表明权重设定选择可影响相对绩效评估,凸显了检验权重约束而非仅依赖BoD DEA模型得分的重要性。稳健性分析进一步表明结果在多大程度上取决于所施加约束的强度,这很重要,因为权重约束必然涉及关于替代估计值相对重要性的判断,因此约束不应被视为产生普遍最优权重集,而应视为纳入所有估计值均应对评估做出有意义贡献的实质性要求。从实证角度看,当PER替代估计值差异显著并提供潜在冲突的绩效评估时,所提BoD DEA框架特别有用,单一指标可能提供不完整评估,因其忽略替代指标所含信息,BoD方法通过将多个估计值组合为组合绩效指标来解决该问题,每个指标的相对重要性在 imposed 权重约束定义的可行区域内内生确定。因此,所提方法为同一构念的替代指标产生不同评估时的绩效评价提供了系统方法。本研究的更广泛贡献在于方法论层面,虽实证应用聚焦于项目费用比率的替代估计值,所提WR BoD DEA框架适用于多个指标代表同一潜在构念的绩效评价问题,不同数据来源、会计准则、联合成本分配方法和评级机构可能对同一构念产生不同评估,所提方法通过适当权重约束确保每个指标做出有意义贡献,从而为非营利组织绩效评价提供更稳健和透明的基础。局限性包括:分析基于单一非营利组织19年观测,限制了结果对其他非营利组织的推广性;WR BoD DEA模型提供相对确定性绩效评估,组合得分依赖于观测样本和指定权重约束,应解释为相对而非绝对绩效指标;模型未明确考虑组织结构变化,分析未纳入可能随时间影响PER估计值的外部情境因素,因此组合PER得分变化不能完全归因于组织绩效变化。未来研究可将框架扩展到多个非营利组织更长观测期,以提高推广性并系统评估时间绩效动态;在具备充分可比面板数据时,可使用窗口分析考察重叠时间段绩效,使用Malmquist生产率指数区分相对效率变化与生产前沿移动;纳入资源基础输入、资金和人员配置可使分析区分运营规模变化与绩效变化;纳入宏观经济指标、政策变化、资金水平和部门特定发展等情境变量可更深入了解影响绩效的外部因素。