《The Stata Journal》:Speaking Stata: Quantile-box plots and beyond: Variations on a theme by Emanuel Parzen
编辑推荐:
此处所论之分位数-箱线图(quantile-box plot)为Emanuel Parzen于1979年提出之图形之变体。其主要思想为:1)将单变量数据批(batch)之分位数,即次序统计量或有序取值,以点或标记符号绘于纵轴,横轴为数据比例或绘图位置(plot
此处所论之分位数-箱线图(quantile-box plot)为Emanuel Parzen于1979年提出之图形之变体。其主要思想为:1)将单变量数据批(batch)之分位数,即次序统计量或有序取值,以点或标记符号绘于纵轴,横轴为数据比例或绘图位置(plotting position);2)在同一空间或并列空间中展示含中位数与四分位数的箱线图。可选方案包括:3)分位数绘于变换尺度(如对数尺度);4)数据比例绘于变换尺度(如正态分位数);5)箱线图尾端增补细节(如延伸至配对百分位数或分位数之穗状线);6)增补其他汇总测度指示(如均值或几何均值以额外水平线表示);7)以连接曲线替代标记符号展示分位数轨迹;8)分位数平滑以降低微小噪声;9)绘制四分位数图或中隙图(midgap plot)替代常规箱线图;10)以任意合适水平测度(位置、集中趋势)之置信区间替代中位数-四分位数箱。分位数-箱线图可一并指示分布之水平、散布与形状,以及离群值、尖峰、无值间隙等细节特征,其不取代直方图或密度估计等有用展示,亦不涉及组宽、起始点、核类型与带宽之棘手选择。分位数图与累积分布或其补图信息本质相同。虽单批数据之分位数-箱线图或有趣有用,其主值常在两批或多批数据之比较。讨论自Parzen思想出发而上下延伸:分位数图与箱线图史(常易他名)较一般认知更长且更多样,Arthur L. Bowley约1897年与William C. Marshall 1921年之中位数-四分位数箱用法 escaped most reviews。Stata方面,社区命令qplot(本期更新)为分位数及相关图之便用主力,pctilesets、quantilesets、cisets(上期述及)便于分位数等汇总计算,官方egen亦有用;数值计算与图形展示之分治策略常助事功。
研究背景方面,单变量分布之图形展示自统计科学肇始即存,但传统箱线图(box plot)仅给集中与离散之粗略摘要,常掩盖双峰、粒状、间隙等细节;直方图与核密度估计又涉组宽、起始点与核类型、带宽等任意选择。Emanuel Parzen于1979年倡将分位数图(quantile plot)与中位数-四分位数箱叠合,然此后该分位数-箱线图(quantile-box plot)在文献中未广传,部分因Parzen重概念轻图示、叠加八分位与十六分位箱过繁,亦因研究者图形习惯保守。本文发于《The Stata Journal》,旨在承Parzen之议而拓宽之,系统论证分位数-箱线图在探索性数据分析(exploratory data analysis, EDA)中兼呈细节与摘要之价值,并借Stata社区命令qplot等给出可复现之做法。
关键技术方法上,研究人员采用915条“猜罐中豆数”数据(Spiegelhalter 2019)、Stata自带auto数据集(国产与进口车每加仑英里数mpg)、经典iris数据集(三种鸢尾花萼片花瓣长宽各50例),以社区命令qplot为主力作分位数图,辅以pctilesets计算各批百分位数集、egen算均值,addplot()叠加rbar/rspike/scatter/line等twoway图层以绘中位数-四分位数箱、5%与95%穗线、几何均值与算术均值水平线;横轴绘图位置默认(i?0.5)/n,支持(i?a)/(n?2a+1)族,并可经trscale(invnormal(@))转正态分位数尺度、yscale(log)转对数尺度;以recast(connect)将散点连为分位数轨迹,必要时用Harrell-Davis法平滑。
研究结果各节如下。1 Introduction节定义分位数-箱线图为分位数图与(极简)箱线图之任意组合,厘清分位数作有序值与作摘要测度之两义,给定绘图位置对称化理由(Galton 1883),指出qplot较官方quantile命令灵活。2 Superimposing a box on a quantile plot节以豆数数据示:正偏故用对数纵轴;先summarize, detail取中位数与四分位数入局部宏,再于分位数图上以粗线交叠出箱;解读斜率——陡段对应稀值区间、缓段对应密值区间,重复值成水平阶(如多人对豆数猜10000);强调log(median())与median(log())在插值情形可有微差,建议计算于变换尺度、标注回原尺度;指出Parzen原图另叠八分位、十六分位箱过繁。3 Varying the example节图2移箱至侧、穗线改示5%与95%(跨中90%)、横轴换正态分位数使对数尺度下豆数近对数正态(lognormal)(此时中位数与几何均值重合)、增几何均值线;说明无界参考分布下概率0与1不可绘,故绘图位置须居(0,1)内;强调参考分布仅作比拟,曲则换分布。4 Comparing two or more batches节以auto之mpg分国产/进口两车组示: quantile图露整数粒状,增均值水平线优于仅点标;iris三种花瓣长各为紧单峰,合并后双峰——箱线图仅显长箱短须易误读,分位数图直揭多模;示recast(connect)连曲线变体及expand翻倍数据以同图列各组与合计。5 Quantile-box plots in context节缕列分位数图优处:鲁棒示水平散布、直呈偏度与多模、局部斜率为密度倒数、批量增大复杂度不增、免直方图组宽与密度带宽之择、可与单调变换易合;限处为占幅大,然正因箱线图常有余地可叠之。6 Historical and bibliographical details节考Parzen生平与1979a,b,1982,1997诸文,指median-quartile箱之先行者Bowley约1897讲义、Marshall 1921智力标准图早出而被忽视,Crowe等地理学者1930年代已绘中位四分位与须至特定百分位数,Kendall 1940定名quantile,Wilk与Gnanadesikan 1968振起现代分位数图。7 Other possibilities节及quartile/midgap plot、二值或等级结果之midpoint选项、批数过多改并列、Harrell-Davis平滑、与分位数回归(quantile regression)同源、水平测度置信区间替箱、pctilesets包装summarize之计算细则、distplot绘经验累积分布。8 Conclusions节总结分位数-箱线图合易用、有效与一贯之EDA准则,不替直方图而补其缺,qplot加addplot()之分治策略足成事,并再彰Bowley与Marshall被淹之史。
讨论与结论翻译部分:在探索性数据分析及更广义统计中,技术若兼具易简之用、足效之能且与既有认知一贯则具吸引力(参Tukey 1977, 363)。分位数-箱线图及其亲类在此准则下表现良善,其挑战不逾入门教材常纳之属。如本栏所论,其名自Parzen(1979a,b)来,摄其要旨——分位数图以中位数-四分位数箱补足,既呈单变量分布细节,又聚焦其中半摘要。彼不逐直方图或密度估计而他图,然应得远广于今之所用。Stata实现中,现存qplot若善其addplot()以他twoway调用添点线条块,即可为范;摘要或置信界计算可委pctilesets等便令(Cox 2026),策略实分而治之。一切历史皆未竟,或有未竟至误者;即此栏略及古今分位数与箱线图之变种,已逾他述,并彰不应讶者:简而有力之念可屡被重发或再造,其中Arthur L. Bowley约1897年与William C. Marshall 1921年之中位数-四分位数箱用法,逃逸于多数综述之外。