【统计检验】正态性检验
统计检验前置核心：正态性检验｜原理+方法+Python实战全攻略
正态性检验是进行t检验、方差分析（ANOVA）、线性回归等统计分析前的必做前提检验，核心作用是判断数据是否符合“钟形曲线”的正态分布。。
一、什么是正态性检验？（一句话看懂）
- 正态分布：数据呈现“中间多、两头少、左右对称”的钟形曲线（比如身高、体重、考试成绩）。
- 正态性检验：判断你的数据是否符合这种钟形分布的统计方法。
为什么必须做？
因为 t检验、ANOVA、线性回归等经典统计方法，都有一个核心假设：数据服从正态分布。如果数据不正态，这些方法的结果会不准、不可靠，甚至完全错误！
正态性检验就是统计分析前的“安检”：
✅ 数据正态 → 放心用经典方法
❌ 数据不正态 → 换非参数方法（如Mann-Whitney U检验）或数据变换
二、3种最常用的正态性检验方法
1. 图形法：QQ图（最直观）
原理
把你的数据分位数，和标准正态分布的分位数一一对应画图。
- 如果点大致落在一条直线上→ 数据符合正态分布
- 如果点严重偏离直线→ 数据不符合正态分布
优点
- 直观、可视化，能快速判断数据偏离正态的程度
- 无严格的显著性阈值，适合初步筛选
2. Shapiro-Wilk检验（小样本首选）
原理
计算统计量 ( W )，衡量数据与正态分布的贴合程度：
W = ( ∑ i = 1 n a i x ( i ) ) 2 ∑ i = 1 n ( x i − x ‾ ) 2 W = \frac{\left(\sum_{i=1}^{n} a_i x_{(i)}\right)^2}{\sum_{i=1}^{n} (x_i - \overline{x})^2}W=∑i=1n(xi−x)2(∑i=1naix(i))2
- (x ( i ) x_{(i)}x(i))：排序后的样本数据
- (a i a_iai)：基于样本量的理论常数
- ( W ) 越接近1 → 数据越接近正态分布
统计假设
- 原假设 (H 0 H_0H0)：数据服从正态分布
- 备择假设 (H 1 H_1H1)：数据不服从正态分布
优点
- 对小样本（ n < 50 ）精度高、检验力强
- 计算高效，结果直观
缺点
- 大样本（n > 1000 ）过于敏感，会把轻微偏离正态的情况误判为“不正态”
3. Kolmogorov-Smirnov（K-S）检验（大样本适用）
原理
比较数据的“经验分布函数”和正态分布的“理论分布函数”，计算两者的最大差异 (D n D_nDn)：
D n = sup x ∣ D n ( x ) − F ( x ) ∣ D_n = \sup_x |D_n(x) - F(x)|Dn=xsup∣Dn(x)−F(x)∣
- (D n ( x ) D_n(x)Dn(x))：数据的经验分布函数（实际观测的累积概率）
- (F ( x ) F(x)F(x))：正态分布的理论累积分布函数
- (D n D_nDn) 越小 → 数据越接近正态分布
统计假设
- 原假设 (H 0 H_0H0)：数据服从正态分布
- 备择假设 (H 1 H_1H1)：数据不服从正态分布
优点
- 对大样本（ n > 1000 ）计算高效
- 可用于检验任意分布（不止正态分布）
缺点
- 对小样本检验力弱，容易误判“正态”
- 对数据的偏态、峰态敏感
三、方法选择速查表（直接照选）
| 场景 | 推荐方法 |
|---|---|
| 小样本（( n < 50 )） | Shapiro-Wilk检验 + QQ图 |
| 中样本（50 ≤ n ≤ 1000） | Shapiro-Wilk检验 + QQ图 |
| 大样本（( n > 1000 )） | K-S检验 + QQ图 |
| 快速初步判断 | QQ图 |
四、Python 完整实战（可直接运行）
我们模拟零件重量数据，用3种方法做正态性检验，含可视化。
1. 导入库 + 生成数据
importnumpyasnpimportmatplotlib.pyplotaspltimportseabornassnsfromscipy.statsimportshapiro,kstest,probplot# 固定随机种子np.random.seed(42)# 生成正态分布数据（零件重量：均值100g，标准差15g，1000个样本）data=np.random.normal(loc=100,scale=15,size=1000)2. 可视化数据分布（初步判断）
plt.figure(figsize=(10,5))sns.histplot(data,kde=True,color='dodgerblue',bins=30,stat='density')plt.title('零件重量分布（含核密度曲线）',fontsize=14)plt.xlabel('重量（g）',fontsize=12)plt.ylabel('密度',fontsize=12)plt.grid(alpha=0.3)plt.show()3. Shapiro-Wilk检验
# 执行检验shapiro_stat,shapiro_p=shapiro(data)# 输出结果print("===== Shapiro-Wilk 检验 =====")print(f"统计量 W:{shapiro_stat:.4f}")print(f"p值:{shapiro_p:.4f}")# 判断结果ifshapiro_p>0.05:print("结论：p > 0.05，数据符合正态分布 ✅")else:print("结论：p < 0.05，数据不符合正态分布 ❌")4. K-S检验
# 计算数据的均值和标准差（用于K-S检验的理论分布参数）data_mean=np.mean(data)data_std=np.std(data)# 执行检验（对比正态分布）ks_stat,ks_p=kstest(data,'norm',args=(data_mean,data_std))# 输出结果print("\n===== Kolmogorov-Smirnov 检验 =====")print(f"统计量 D:{ks_stat:.4f}")print(f"p值:{ks_p:.4f}")# 判断结果ifks_p>0.05:print("结论：p > 0.05，数据符合正态分布 ✅")else:print("结论：p < 0.05，数据不符合正态分布 ❌")5. QQ图可视化
plt.figure(figsize=(8,8))probplot(data,dist="norm",plot=plt)plt.title('正态性检验 QQ图',fontsize=14)plt.grid(alpha=0.3)plt.show()五、数据不正态怎么办？（解决方案）
如果检验结果显示“数据不正态”，可按以下步骤处理：
1. 数据变换（最常用）
- 对数变换：适合右偏数据（如收入、销量）
log_data=np.log(data)# 注意：数据需为正数 - 平方根变换：适合轻度右偏数据
sqrt_data=np.sqrt(data) - Box-Cox变换：自动选择最优变换方式
fromscipy.statsimportboxcox transformed_data,_=boxcox(data)
2. 换非参数检验方法
- 替代t检验：Mann-Whitney U检验（独立样本）、Wilcoxon符号秩检验（配对样本）
- 替代ANOVA：Kruskal-Wallis检验（多组样本）
六、正态性检验的优缺点（必背）
优点
- 是经典统计方法的“前置保障”，确保结果可靠
- 方法多样，可根据样本量灵活选择
- 结合可视化（QQ图），结果直观易解释
缺点
- 大样本下过于敏感，轻微偏离会误判“不正态”
- 对极端值、重尾数据不稳健
- 小样本下K-S检验检验力弱，容易误判“正态”