非参数检验

作者

Simonzhou

发布于

2025年2月26日

修改于

2025年4月29日

1 基于秩次的非参数检验

1.1 秩和检验

秩和检验（Rank-Sum Test）是一种非参数检验方法，用于比较两个独立样本的分布是否存在显著差异。它无需对数据分布作正态性假设，适用于数据偏离正态分布、样本量较小或数据为序数型变量的场景。

常见的秩和检验包括：

  1. Mann-Whitney U 检验（也称Wilcoxon秩和检验）：用于比较两个独立样本的中位数是否相等。
  2. Wilcoxon 符号秩检验：用于两个配对样本的比较（类似配对t检验，但无需正态性假设）。

1.1.1 秩和检验的公式

  1. Mann-Whitney U 检验公式

假设两组独立样本分别为 \(X\) 和 \(Y\)，样本量分别为 \(n_1\) 和 \(n_2\)。
对两组样本合并并按大小排序，赋予秩次。计算两组的秩次和 \(R_1\) 和 \(R_2\)（分别为 $ X$ 和 \(Y\) 的秩次总和）。

  • 确定统计量T值：

假设两组样本量 \(n_1<n_2\)，一般情况下以样本量较小者\(n_1\)对应的秩和\(T_1\)为检验统计量\(T\)，当样本相等时可以选择任一组的秩和为\(T\)。1

当两组中样本量较小者不低于10时，在\(H_0\)成立假设下，统计量\(T\)的抽样分布近似于正态分布，有

\[T\approx N\left(\frac{n_1(n+1)}{2},\frac{n_1 n_2(n+1)}{12} \right)\] 此时，Wilcoxon 秩和统计量在\(H_0\)下关于\(\mu=\frac{n_1(n+1)}{2}\)对称。

如果没有或存在较少的“结”，将\(T\)标准化后为：

\[U=\frac{T-\frac{n_1(n+1)}{2}+C}{\sqrt{\frac{n_1 n_2(n+1)}{12}}}\approx N(0,1)\]

其中，C为连续性校正系数，当\(T>\frac{n(n+1)}{4}\)时，\(C=-0.5\)，当\(T<\frac{n(n+1)}{4}\)时，\(C=0.5\)，当\(T=\frac{n(n+1)}{4}\)时，\(C=0\)。

若“结”的比例较多（>25%），则用以下公式校正：

\[U_c=\frac{T-\frac{n_1(n+1)}{2}+C}{\sqrt{\frac{n_1 n_2}{12}[(n+1)-\sum_\limits{i=1}^{g}\frac{t_i^3-t_i}{n(n-1)}]}}\approx N(0,1)\]

  1. Wilcoxon 符号秩检验公式

对配对样本 \((X_i, Y_i)\)，计算差值 \(D_i = X_i - Y_i\)，取非零差值的绝对值并排序（若差值为0则舍去不计，且减去相应的个数），赋予秩次 \(R_i\)。再根据差值的符号计算符号秩次和 \(W\)：

\[W = \sum R_i \cdot \text{sign}(D_i)\]

检验统计量 \(T\) 是 \(W\) 的绝对值，依据表或正态分布计算显著性。

正态近似法：

当\(n\ge 30\)时，有中心极限定理可知，当\(H_0\)成立时统计量\(T\)的抽样分布近似正态分布，有

\[T\approx N \left(\frac{n(n+1)}{4},\frac{n(n+1)(2n+1)}{24}\right)\] 其中，均数\(\mu=\frac{n(n+1)}{4}\)，方差\(\sigma^2=\frac{n(n+1)(2n+1)}{24}\)。 将T标准化后，近似服从标准正态分布，有

\[U=\frac{T-\frac{n(n+1)}{4}+C}{\sqrt{\frac{n(n+1)(2n+1)}{24}}}\approx N(0,1)\] 其中，n是差值不为0的对子数，C为连续性校正系数，当\(T>\frac{n(n+1)}{4}\)时，\(C=-0.5\)，当\(T<\frac{n(n+1)}{4}\)时，\(C=0.5\)，当\(T=\frac{n(n+1)}{4}\)时，\(C=0\)。

当N较大时，样本中可能存在较多的“结”，（如“结”所占比例大于25%），此时需要使用校正公式：

\[U=\frac{T-\frac{n(n+1)}{4}+C}{\sqrt{\frac{n(n+1)(2n+1)}{24}-\frac{\sum_\limits{i=1}^g(t_i^3-t_i)}{48}}}\approx N(0,1)\] 其中，\(t_i\)为\(i\)个“结”中有相同秩次的个数，\(g\)是“结”的个数。

Wilcoxon符号秩检验的前提条件为数据是连续的且差值分布是对称的。

notice：秩和秩和的区别：秩是指全部观察值按某种顺序排列的位序，在一定程度上反映了等级的高低；而秩和则表示同组秩次之和，在一定程度上反映了等级的分布。2

1.1.2 应用场景

  1. Mann-Whitney U 检验：

    • 比较两个独立样本的中位数是否存在显著差异。
    • 适用于非正态分布数据或含有极端值的样本。
    • 示例：比较两种治疗方法的疗效（不同受试者组）。

  2. Wilcoxon 符号秩检验：

    • 比较两个配对样本的中位数差异。
    • 适用于重复测量数据或实验设计中存在配对关系的场景。
    • 示例：同一批受试者在治疗前后血压的变化。

1.1.3 注意事项

  • 秩和检验是非参数方法，对数据分布假设少，但效率可能低于参数方法（如t检验）在满足条件时的效果，如果满足参数检验的条件，应优先考虑使用参数检验的方法，否则会增加犯二类错误的概率。
  • 数据需要满足独立性假设，否则检验结果可能不准确。

end.

脚注

  1. 不是说一定要选择样本量较小者对应的秩和作为检验统计量，只是长期的使用习惯，造成了这一惯例。如果取较小的秩和计算后得到的\(U<u_{\alpha/2}\)，则表示拒绝\(H_0\)；相反，如果取较大的秩和计算后得到的\(U>u_{1-\alpha/2}\)，也会表示拒绝\(H_0\)，他们都表示检验统计量落在了拒绝域中。↩︎

  2. 尽管非参数方法对总体分布形式未做要求，但如果我们知道总体的一些性质而不去利用，就会浪费许多有用的信息，最常见的就是分布的对称性，配对设计的 Wilcoxon 符号秩检验充分利用了差值分布对称性这一信息，这与尽可能地采用有效方法，利用尽可能多的信息进行统计分析的大原则相一致。↩︎