数据分布分析：我用QQ图5秒钟判断数据是否正态分布

2026-03-01

大家好，我是正在实战各种AI项目的程序员晚枫。

今天学习数据分布分析，重点掌握如何判断数据是否符合正态分布。

为什么重要？因为很多统计方法（如t检验）都假设数据正态分布。用错方法会导致错误结论。

什么是正态分布？

特征

钟形曲线，对称分布
均值 = 中位数 = 众数
约68%数据在μ±σ内，95%在μ±2σ内

为什么要检验正态性？

t检验、ANOVA要求正态分布
线性回归假设残差正态
很多机器学习算法对分布敏感

可视化判断

直方图 + 密度曲线

import numpy as np
import matplotlib.pyplot as plt
from scipy import stats

# 生成三种分布的数据
np.random.seed(42)
normal_data = np.random.normal(100, 15, 1000)      # 正态
skewed_data = np.random.exponential(2, 1000)       # 右偏
uniform_data = np.random.uniform(0, 100, 1000)     # 均匀

fig, axes = plt.subplots(1, 3, figsize=(15, 4))

data_list = [normal_data, skewed_data, uniform_data]
titles = ['正态分布', '指数分布（右偏）', '均匀分布']

for ax, data, title in zip(axes, data_list, titles):
    ax.hist(data, bins=30, density=True, alpha=0.7, edgecolor='black')
    
    # 叠加理论正态曲线
    mu, sigma = data.mean(), data.std()
    x = np.linspace(data.min(), data.max(), 100)
    ax.plot(x, stats.norm.pdf(x, mu, sigma), 'r-', linewidth=2, label='正态拟合')
    
    ax.set_title(title)
    ax.legend()

plt.tight_layout()
plt.show()

QQ图（Quantile-Quantile Plot）

原理

将数据的分位数与理论正态分布的分位数对比。如果点在一条直线上，说明符合正态分布。

Python实现

import statsmodels.api as sm
import matplotlib.pyplot as plt

fig, axes = plt.subplots(1, 3, figsize=(15, 4))

for ax, data, title in zip(axes, data_list, titles):
    sm.qqplot(data, line='45', ax=ax)
    ax.set_title(f'{title} - QQ图')

plt.tight_layout()
plt.show()

# 解读：
# 点落在对角线上 → 正态分布
# 点呈S形 → 厚尾或薄尾
# 点呈弧形 → 偏态分布

统计检验

Shapiro-Wilk检验（小样本推荐）

from scipy import stats

# 正态数据
stat, p_value = stats.shapiro(normal_data[:500])  # 最多500个样本
print(f"正态数据 - W统计量: {stat:.4f}, p值: {p_value:.6f}")

# 非正态数据
stat, p_value = stats.shapiro(skewed_data[:500])
print(f"偏态数据 - W统计量: {stat:.4f}, p值: {p_value:.6f}")

# 解读：p > 0.05不能拒绝正态性假设

Kolmogorov-Smirnov检验

1
2
3

# KS检验
stat, p_value = stats.kstest(normal_data, 'norm', args=(normal_data.mean(), normal_data.std()))
print(f"KS检验 - 统计量: {stat:.4f}, p值: {p_value:.6f}")

Anderson-Darling检验

result = stats.anderson(normal_data, dist='norm')
print(f"A-D统计量: {result.statistic:.4f}")
print("临界值:", result.critical_values)
print("显著性水平:", result.significance_level)

# 如果统计量 > 临界值，拒绝正态性

偏度和峰度

from scipy import stats

# 计算偏度和峰度
skewness = stats.skew(normal_data)
kurtosis = stats.kurtosis(normal_data)  # 超额峰度（减去3）

print(f"偏度: {skewness:.4f}")
print(f"峰度: {kurtosis:.4f}")

# 判断标准（近似）
if abs(skewness) < 0.5 and abs(kurtosis) < 0.5:
    print("大致符合正态分布")
else:
    print("偏离正态分布")

数据变换

当数据不正态时，可以尝试变换：

对数变换（右偏数据）

log_data = np.log(skewed_data[skewed_data > 0])

# 检查变换后是否正态
stats.probplot(log_data, dist="norm", plot=plt)
plt.title("对数变换后的QQ图")
plt.show()

平方根变换

1	sqrt_data = np.sqrt(skewed_data[skewed_data >= 0])

Box-Cox变换（自动选择最优变换）

from scipy.stats import boxcox

# Box-Cox要求数据为正
data_positive = skewed_data[skewed_data > 0]
boxcox_data, lambda_param = boxcox(data_positive)

print(f"最优lambda参数: {lambda_param:.4f}")
# lambda ≈ 0: 对数变换
# lambda ≈ 0.5: 平方根变换
# lambda ≈ 1: 无需变换

实战：完整分析流程

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from scipy import stats
import statsmodels.api as sm

def normality_analysis(data, name="数据"):
    """完整的正态性分析"""
    
    print(f"\n=== {name}的正态性分析 ===")
    
    # 1. 基础统计
    print(f"\n【描述统计】")
    print(f"  样本量: {len(data)}")
    print(f"  均值: {np.mean(data):.2f}")
    print(f"  中位数: {np.median(data):.2f}")
    print(f"  标准差: {np.std(data, ddof=1):.2f}")
    print(f"  偏度: {stats.skew(data):.4f}")
    print(f"  峰度: {stats.kurtosis(data):.4f}")
    
    # 2. Shapiro-Wilk检验
    if len(data) <= 5000:
        stat, p_value = stats.shapiro(data)
        print(f"\n【Shapiro-Wilk检验】")
        print(f"  W统计量: {stat:.4f}")
        print(f"  p值: {p_value:.6f}")
        if p_value > 0.05:
            print(f"  ✓ 不能拒绝正态性假设（p > 0.05）")
        else:
            print(f"  ✗ 拒绝正态性假设（p ≤ 0.05）")
    
    # 3. 可视化
    fig, axes = plt.subplots(1, 2, figsize=(12, 4))
    
    # 直方图+密度
    axes[0].hist(data, bins=30, density=True, alpha=0.7, edgecolor='black')
    mu, sigma = data.mean(), data.std()
    x = np.linspace(data.min(), data.max(), 100)
    axes[0].plot(x, stats.norm.pdf(x, mu, sigma), 'r-', linewidth=2, label='正态分布')
    axes[0].set_title(f'{name} - 分布直方图')
    axes[0].legend()
    
    # QQ图
    sm.qqplot(data, line='45', ax=axes[1])
    axes[1].set_title(f'{name} - QQ图')
    
    plt.tight_layout()
    plt.savefig(f'{name}_normality.png', dpi=300)
    plt.show()
    
    return {
        'mean': np.mean(data),
        'std': np.std(data, ddof=1),
        'skewness': stats.skew(data),
        'kurtosis': stats.kurtosis(data),
        'shapiro_p': p_value if len(data) <= 5000 else None
    }

# 测试不同分布
np.random.seed(42)
normal = np.random.normal(100, 15, 1000)
exponential = np.random.exponential(2, 1000)
uniform = np.random.uniform(50, 150, 1000)

results = []
for data, name in [(normal, "正态数据"), (exponential, "指数数据"), (uniform, "均匀数据")]:
    result = normality_analysis(data, name)
    results.append(result)

# 汇总比较
summary = pd.DataFrame(results, index=["正态", "指数", "均匀"])
print("\n=== 汇总比较 ===")
print(summary)