《Journal of Multivariate Analysis》：Limiting spectral distribution of moderately large Kendall’s correlation matrix and its application
摘要
我们建立了Kendall相关矩阵在中等高维设定下的极限谱分布，该设定中维度p的增长速度慢于样本量n。我们的框架允许观测值独立但未必同分布，同时兼容离散型与连续型数据。与现有基于独立同分布观测所发展的结果不同，我们的方法在显著分布异质性条件下依然有效，并且涵盖了此前未研究过的一些独立同分布模型。
在某些迹的条件上施加温和的对称性与收敛性条件下，我们证明了适当中心化与缩放后的Kendall相关矩阵的经验谱分布在几乎必然意义下弱收敛到一个确定的、通常依赖于模型的极限分布。该分析阐明了分布异质性如何影响极限谱。
作为应用，我们提出了一种用于检测高维数据中各分量间依赖关系的图形工具，并表明忽略异质性可能导致对依赖关系的虚假检测。
引言
样本协方差矩阵与相关矩阵在多元统计分析中发挥着核心作用。在高维设定下，理解变量间相互依赖性的常用策略是研究这些矩阵特征值与特征向量的渐近行为。这一领域在随机矩阵理论框架下已被广泛探索。
考虑一个p×p维的随机矩阵$\mathcal{R}_p$。$\mathcal{R}_p$的经验谱分布（ESD）为其每个特征值赋予质量$1/p$，记为$\nu_{\mathcal{R}_p}$。其对应的累积分布函数为$F_{\mathcal{R}_p}$，也称为经验累积分布函数（ECDF）。若$F_{\mathcal{R}_p}$随$p \to \infty$弱收敛（以概率收敛或几乎必然收敛）到某个极限，则称该极限分布为极限谱分布（LSD）。对于函数$f$，相关的线性谱统计量（LSS）定义为$\int f(x) \, dF_{\mathcal{R}_p}(x)$。关于样本协方差矩阵的LSD与LSS的综合性论述见Bai和Silverstein（2010），关于样本相关矩阵的类似研究见Jiang（2004b）和Gao等人（2017）。
为了确保以概率1收敛到某个LSD，通常假定矩阵元素的二阶矩有限。然而，当数据具有重尾分布时，许多基于轻尾分布建立的结果将失效。例如，Heiny和Yao（2022）证明了在重尾情形下，样本相关矩阵的谱行为与轻尾情形存在显著差异。
在此类重尾背景下，通常更偏好使用基于秩的样本协方差矩阵的稳健非参数替代方法。特别是，Kendall相关系数矩阵和Spearman的$\rho$矩阵因其即使在强矩条件缺失下仍具有良好渐近性质而受到广泛关注。例如，Bandeira等人（2017）和Bai和Zhou（2008）证明了在适当条件下（例如$p, n \to \infty$且$p/n \to \theta \in (0, \infty)$），Kendall相关系数矩阵和Spearman的$\rho$矩阵的LSD服从Mar?enko-Pastur定律或其仿射变换。关于这些矩阵的LSS和极端特征值的渐近结果也在Bao等人（2015）、Bao（2019b）、Bao（2019a）和Li等人（2021）等工作中得到了研究。然而，这些结果通常依赖于数据同分布、绝对连续且$p$与样本量同速增长的假定。最近，D?rnemann等人（2026）研究了在独立同分布但可能为离散型观测条件下，适当中心化与归一化后的Kendall相关系数矩阵和Spearman的$\rho$矩阵的LSD，其考虑了更一般的设定$p/n \to \theta \in [0, \infty)$。在另一种渐近设定下，Bousseyroux等人（2026）研究了当$p/n^2$收敛到一个正常数时Kendall相关矩阵的LSD。Li等人（2023）研究了在成分比例高维设定下，独立同分布连续观测且分量间存在依赖关系时Kendall相关矩阵的LSD。
本文研究的是一个相对较少探索的设定，其中观测值可能为非同分布的连续和/或离散型。我们的关注点是Kendall相关矩阵在中等高维设定下的极限谱行为，即维度$p$的增长速度慢于样本量$n$，也就是$p/n \to 0$。
中等高维设定在高维统计文献中已得到充分确立并频繁出现（见例如Wang和Paul（2014）、Wang等人（2017）以及Bhattacharjee和Bose（2019））。针对比例增长设定$p/n \to \theta \in (0, \infty)$所得到的结果，当$\theta$被简单地设为零时通常会退化为无信息性的极限。因此，这类结果无法直接应用于$\theta = 0$情形下的统计推断。获得非退化、有信息性的极限需要不同的中心化与缩放方式，且分析从根本上区别于比例增长设定。实际上，$\theta = 0$与$\theta \in (0, \infty)$通常会给出定性上不同的结果；例如，见Bhattacharjee和Bose（2016）、Bhattacharjee和Bose（2019）以及Liu等人（2015）和Wang等人（2017），其中对每种设定分别推导了LSD。在本文中，我们建立了$p/n \to 0$情形下Kendall相关矩阵的LSD。
Kendall相关矩阵基于使用基于符号核函数的成对比较来构造。符号函数定义为$\text{Sign}(x) = x/|x| \cdot \mathbb{I}(x \neq 0)$，其中$\mathbb{I}(\cdot)$为指示函数。
对于$\mathbb{R}^2$中的向量，定义核函数$h((x_1, y_1), (x_2, y_2)) = \text{Sign}(x_1 - x_2) \cdot \text{Sign}(y_1 - y_2)$。给定$n$个配对观测$\{(x_i, y_i)\}_{i=1}^n$，Kendall的$\tau$为以$h$为核函数的U统计量：$(n choose 2)^{-1} \sum_{1 \leq i < j \leq n} h((x_i, y_i), (x_j, y_j))$。
设$X = (X_{ki})$为一个$p \times n$的数据矩阵。对于每对$(k, l)$，定义$T_{kl}$为序列$\{X_{ki}\}_{i \in [n]}$与$\{X_{li}\}_{i \in [n]}$之间的Kendall的$\tau$，其中$[n] = \{1, 2, \ldots, n\}$。则Kendall相关矩阵为$\mathbb{T} = (T_{kl})_{1 \leq k,l \leq p}$。
关于独立观测下Kendall相关矩阵LSD的第一个结果出现在Bandeira等人（2017）中，其中假定$X$的各列同分布且具有密度。他们证明$\mathbb{T}$的LSD以概率收敛到$2/3 \cdot M_\theta + 1/3$的分布，其中$M_\theta$服从参数为$\theta$的Mar?enko-Pastur定律。最近，D?rnemann等人（2026）证明了在独立同分布但可能为离散型的观测条件下，适当中心化与归一化后的Kendall相关矩阵的LSD在比例高维设定下是Mar?enko-Pastur定律的仿射变换，在中等高维设定下收敛到半圆定律。在另一种渐近设定下，即维度与样本量的平方成比例时，Bousseyroux等人（2026）表明对于独立同分布的连续观测，Hoeffding分解变得可忽略，取而代之的是余项中的某个分量控制了极限行为。
设$D(\mathbb{A})$表示由$\mathbb{A}$对角线元素构成的对角矩阵。对于$\mathbb{T}$，其第$k$个对角元素为$(n(n-1))^{-1} \sum_{i \neq j} \mathbb{I}\{X_{ki} \neq X_{kj}\}$。当数据绝对连续时，该值几乎必然为1，因此$D(\mathbb{T}) = I_p$（$p$阶单位矩阵），且$\mathbb{T} - D(\mathbb{T})$仅与$\mathbb{T}$相差一个常数偏移。相反，当绝对连续性不成立时，对角元素可能显著变化，不再统一为1。这种变异性使$\mathbb{T}$的直接分析变得复杂。由于对角线对应的是自关联——通常信息量较少——我们转而关注中心化矩阵$\mathbb{T} - D(\mathbb{T})$。该方法同时兼容离散型和异质性数据。
我们的主要结果在三个假设下建立了$\mathbb{T} - D(\mathbb{T})$经验谱分布的几乎必然弱收敛。第一个假设与Bandeira等人（2017）相同，即$X$的元素相互独立。第二个要求对$\text{Sign}(X_{ki} - X_{kj})$及其逆分布施加对称性条件，对所有$i \neq j$；虽然这在独立同分布设定下自动满足，但也可涵盖更广泛的非同分布观测类。第三个假设对某些方差-协方差矩阵$\mathbb{G}_{k,i}$（通过符号函数的条件期望定义）的幂次迹施加条件。具体而言，我们要求对$i \in [n]$求平均后的量$n^{-1} \text{Trace}(\mathbb{G}_{k,i})$和$n^{-2} \text{Trace}(\mathbb{G}_{k_1,i} \, \mathbb{G}_{k_2,i})$以适当速率收敛到常数。值得注意的是，这些条件严格弱于Bandeira等人（2017）中的条件，且关键的是，允许异质性（非同分布）观测。
在上述假设下，定理1表明适当中心化与缩放后的$\mathbb{T} - D(\mathbb{T})$的LSD几乎必然存在，且由一个对称概率分布刻画。一般而言，该极限不是半圆定律（见例1、例2）。在独立同分布观测的特殊情形下，LSD可通过半圆定律与数据有界变换的某个关联方差-协方差矩阵的LSD的自由乘法卷积来刻画（当后者存在时）。此外，定理2确定了一类具有受控分量间异质性的非同分布数据矩阵，其LSD退化为半圆定律。第2.3节给出了三个说明性示例。第2.4节简要讨论了数据驱动的临时方法来验证我们关键假设的思路。该方法的严格数学论证需要更高级的工具和技术，留待未来工作。
需要强调的是，D?rnemann等人（2026）是目前唯一在类似框架下的现有工作，其关注的是归一化后的Kendall相关矩阵。相比之下，我们分析的是中心化并缩放后的版本，且这一差异绝非仅仅是技术性的：它导致了显著不同的渐近行为，并使我们能够在D?rnemann等人（2026）范围之外的一些独立同分布框架中容纳某些模型。两种方法仅在连续独立同分布观测的经典设定下一致，此时两组假设均自动满足。在更一般的设定中，特别是在存在离散型或零膨胀数据时，即使在独立同分布抽样下，渐近行为也可能不同。D?rnemann等人（2026）中的归一化排除了渐近退化分量的存在，这一假设在涉及稀疏或零膨胀数据的应用中可能不现实。相比之下，我们的框架容纳了此类退化性（见例2），在此情形下归一化方法失效，而我们的假设仍然有效且LSD存在。
另一方面，我们的设定中缺乏归一化引入了不同分量尺度上的异质性，需要通过我们的迹条件进行显式控制。这与D?rnemann等人（2026）形成对比，其中归一化有效地将各分量的变异性同质化了。因此，他们的结果（例如定理2.5(1)）与我们的定理1和定理2在理论上有所区别且不可直接比较。尽管如此，请注意，经过适当修改，我们的证明技术可以推广以复现他们的主要结果（注记15）。
最重要的是，我们强调本文提供了在非独立同分布观测条件下发展Kendall相关矩阵理论的第一步系统性工作。值得注意的是，第2节中呈现的所有涉及非同分布数据的示例均满足我们的假设，同时超出D?rnemann等人（2026）所发展框架的范围，从而说明了我们的结果具有更广泛的适用性。
因此，处理非同分布观测是核心贡献之一，但并非唯一的新颖性来源。即使在某些独立同分布模型内，也存在超出D?rnemann等人（2026）假设范围的数据生成机制，却被我们的框架所涵盖（见例2）。因此，本文手稿不仅提供了一种异质性扩展，还提供了一种概念上截然不同的分析方法，捕获了现有结果未涉及的设定。
我们进一步研究了我们的发现对高维独立检验的影响。经典方法——如似然比检验（Jiang等人，2013）、$L^2$范数方法（Gao等人，2017；Yang和Pan，2015）以及$L^\infty$范数方法（Jiang，2004a；Zhou，2007；Cai和Jiang，2011）——通常需要有限高阶矩，因此不适合重尾数据。
相比之下，基于秩的方法，包括基于Kendall相关系数和Spearman的$\rho$的方法，在重尾分布下更为稳健。这一方向的重要贡献包括基于Spearman矩阵的$L^2$范数检验（Bao等人，2015）、基于Kendall相关矩阵LSS的检验（Li等人，2021）、针对Kendall和Spearman矩阵的$L^\infty$范数检验（Han等人，2017），以及在独立、绝对连续且有时对称数据且$p/n \to \theta \in (0, \infty)$的假设下的通用$U$统计量检验（Leung和Drton，2015）。
定理2为在数据矩阵中行依赖检测提供了图形诊断的基础，即使底层分布为离散型或在列间异质且$p/n \to 0$时亦然。我们通过一个简单的实证研究说明，忽略数据矩阵分布中的异质性可能导致误导性结论，特别是产生对依赖关系的虚假检测。这凸显了在高维独立性检验中显式考虑非同分布观测的重要性。该诊断方法的细节见第3节。
虽然可以通过对???D(??)应用适当选择的局部显著性统计量来构建正式的显著性检验，但推导相应的渐近分布已超出本文的范围。章节片段：经验谱分布的收敛性我们对数据{????,??: 1≤??≤??, 1≤??≤??}作出以下假设。假设1：对于所有??, ??≥1，集合{????,??: 1≤??≤??, 1≤??≤??}由独立随机变量组成。假设1对我们的证明方法至关重要。相依情形需要不同的方法，将在未来工作中进行探讨。Li等人（2023）提供了相依设定下的一些部分结果，但仍需要进一步推广。假设2：对于所有1≤??≤??, 1≤??,??≤??以及??, ??≥1，有?(????,??>????,??)=?(????,??
