香农熵与外熵的界及其在大数据集极值行为探索中的应用

《Advances in Applied Probability》:Bounds of Shannon entropy and extropy and their application in exploring the extreme value behavior of a large set of data

【字体: 大 中 小 】 时间:2026年10月23日 来源:Advances in Applied Probability 1.0

编辑推荐:

  :研究人员推导了在极值理论框架下最大次序统计量及其关联归一化序列的香农熵(Shannon entropy)与外熵(extropy)的界。最大次序统计量来自一组由对数凹分布(log-concave distribution)支配的独立同分布随机变量,其数量有限或

  
:研究人员推导了在极值理论框架下最大次序统计量及其关联归一化序列的香农熵(Shannon entropy)与外熵(extropy)的界。最大次序统计量来自一组由对数凹分布(log-concave distribution)支配的独立同分布随机变量,其数量有限或无限(n→∞)。研究提供了指数分布(exponential distribution)的一个刻画,即在大样本量情形下,指数分布是使最大次序统计量及其归一化最大值的香农熵与外熵最大化的模型。该刻画被用于提供归一化最大值(normalized maxima)的香农熵与外熵收敛到Gumbel分布(Gumbel distribution)相应测度的另一种直接证明,这一收敛性近期由Johnson((2024). J. Appl. Probab. 61, 244–254)针对香农熵进行了研究。
论文解读文章:
一、研究背景与研究动机
在统计学与可靠性理论中,次序统计量(order statistics)尤其是最大次序统计量(largest order statistic)X(n)扮演着基础性角色。当概率模型的支撑域依赖于未知参数时,最大与最小次序统计量在统计推断中至关重要;在可靠性分析中,它们通常与受测元件的失效时间相关联。此外,最大次序统计量是极值理论(extreme value theory)的核心工具,是当随机样本规模趋于无穷时构建极值分布的基础。
香农熵(Shannon entropy)是连续分布的一种全局性度量,用于量化和表达随机实验结果的不确定性程度。较大的香农熵值对应较高的不确定性或较低的信息增益。外熵(extropy)作为香农熵的互补对偶,近年来在统计信息理论领域受到广泛关注,其定义为J(X)=-1/2∫?f2(x)dx,与Onicescu信息能量、Golomb信息函数以及特定参数下的Rényi和Tsallis熵均有直接联系。
尽管已有大量研究关注各类信息测度在次序统计量分布上的解析结果与刻画,但据研究人员所知,尚未有研究发展最大次序统计量及其归一化最大值的香农熵与外熵的界。这一空白正是本研究所要填补的。具体而言,研究关注在有限样本量n以及n→∞的极值理论背景下,最大次序统计量X(n)及其归一化序列(X(n)-bn)/an的香农熵与外熵的行为。
二、研究内容与主要结论
研究在极值理论框架下,针对服从对数凹分布(log-concave distribution)的独立同分布随机变量样本,推导了最大次序统计量及其归一化序列的香农熵与外熵的界。核心结论包括:提供了指数分布(exponential distribution)的一个刻画,证明在n→∞的大样本量情形下,指数分布是使归一化序列(X(n)-bn)/an的香农熵与外熵最大化的模型。该刻画被进一步利用,为归一化最大值的香农熵与外熵收敛到Gumbel分布(Gumbel distribution)相应测度提供了另一种直接证明。此外,研究还给出了最大次序统计量X(n)的香农熵与外熵的界及其极限行为,并在此情形下同样提供了指数分布的刻画。
三、主要技术方法
研究人员主要采用以下关键技术方法:其一,利用密度分位数函数(density quantile function)I(t)=f(F-1(t)),该函数在对数凹密度下具有正性和凹性等优良性质,是推导界的关键工具;其二,运用Beta分布(Beta distribution)变换将最大次序统计量的熵与外熵表达式转化为积分形式;其三,结合极值理论中Fisher-Tippett定理的三种极限分布类型(Fréchet、reversed Weibull、Gumbel)及相应的归一化常数an与bn的选择;其四,利用对数凹密度的性质以及Jensen不等式等分析工具来建立熵与外熵的上下界。
四、研究结果
2.1 最大次序统计量的香农熵与外熵
研究人员推导了最大次序统计量X(n)的香农熵表达式H(X(n))=1-ln n-1/n-EY[ln I(Y)],其中Y服从Beta(n,1)分布。类似地,外熵可表示为J(X(n))=-n2/2∫01t2n-2I(t)dt。基于密度分位数函数I在对数凹密度下的性质,研究人员建立了H(X(n))与J(X(n))的上下界。
2.2 极值考虑
为避免n→∞时最大次序统计量分布的退化问题,研究人员考虑归一化序列(X(n)-bn)/an。依据极值理论,当F∈D(G)时,归一化最大值依分布收敛到广义极值分布Gξ(x)=exp(-(1+ξx)-1/ξ),其中ξ=0时对应Gumbel分布G0(x)=exp(-e-x)。研究人员推导了归一化序列的香农熵与外熵的界,并证明指数分布是使这些测度最大化的模型。这一刻画为归一化最大值的熵与外熵收敛到Gumbel分布相应测度提供了直接证明路径。
五、讨论与结论
研究结论部分指出,本文在极值理论背景下,针对来自对数凹密度的有限或无限样本,给出了最大次序统计量及其归一化最大值的香农熵与外熵的界。在大样本量(n→∞)情形下,研究在极值理论框架内进行了考察,并提供了指数分布的刻画。该刻画不仅揭示了指数分布在最大化最大次序统计量及其归一化序列信息测度中的特殊地位,还为归一化最大值熵与外熵收敛到Gumbel分布测度提供了另一种简洁证明。这一工作填补了极值理论中信息测度界的研究空白,为理解大数据集极值行为中的不确定性度量提供了理论支撑。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号