Pandas分组聚合：我用groupby把100万行数据秒变统计报表

2026-03-01

大家好，我是正在实战各种AI项目的程序员晚枫。

今天学习Pandas最强大的功能——groupby分组聚合。

无论是做销售报表、用户分析还是运营统计，groupby都是必不可少的工具。掌握它，你就能像写SQL一样灵活地分析数据。

基础语法

import pandas as pd
import numpy as np

# 示例数据
df = pd.DataFrame({
    '部门': ['技术', '销售', '技术', '销售', '人事', '技术'],
    '姓名': ['张三', '李四', '王五', '赵六', '钱七', '孙八'],
    '销售额': [150000, 120000, 180000, 200000, 80000, 160000],
    '订单数': [30, 25, 35, 40, 15, 32]
})

# 基础分组聚合
dept_sales = df.groupby('部门')['销售额'].sum()
print(dept_sales)

常用聚合函数

单函数聚合

# 求和
df.groupby('部门')['销售额'].sum()

# 平均值
df.groupby('部门')['销售额'].mean()

# 计数
df.groupby('部门').size()  # 包括NaN
df.groupby('部门')['姓名'].count()  # 不包括NaN

# 最值
df.groupby('部门')['销售额'].max()
df.groupby('部门')['销售额'].min()

# 标准差、方差
df.groupby('部门')['销售额'].std()
df.groupby('部门')['销售额'].var()

多函数agg

# 对单列应用多个函数
df.groupby('部门')['销售额'].agg(['sum', 'mean', 'count', 'max'])

# 对不同列应用不同函数
df.groupby('部门').agg({
    '销售额': ['sum', 'mean'],
    '订单数': ['sum', 'count']
})

# 自定义列名
df.groupby('部门').agg(
    总销售额=('销售额', 'sum'),
    平均销售额=('销售额', 'mean'),
    总订单=('订单数', 'sum')
)

多列分组

# 按部门和年份分组（假设有年份列）
df.groupby(['部门', '年份'])['销售额'].sum()

# 多级索引结果
result = df.groupby(['部门', '年份']).agg({
    '销售额': 'sum',
    '订单数': 'sum'
})

# 重置索引变成普通DataFrame
result = result.reset_index()

transform：保持原数据结构

# 计算每个部门的平均薪资
df['部门平均'] = df.groupby('部门')['销售额'].transform('mean')

# 计算个人业绩占部门比例
df['占比'] = df['销售额'] / df['部门平均']

# 排名（组内）
df['部门排名'] = df.groupby('部门')['销售额'].rank(ascending=False)

apply：自定义复杂逻辑

# 定义自定义函数
def top_n(group, n=2):
    """返回每组前N名"""
    return group.nlargest(n, '销售额')

# 应用
top_performers = df.groupby('部门').apply(top_n, n=2)

# lambda简化
df.groupby('部门').apply(lambda x: x['销售额'].sum() / x['订单数'].sum())

过滤筛选

# filter：筛选满足条件的组
# 只保留总销售额超过30万的部门
big_depts = df.groupby('部门').filter(
    lambda x: x['销售额'].sum() > 300000
)

# 只保留人数大于2的部门
df.groupby('部门').filter(lambda x: len(x) > 2)

数据透视表pivot_table

# 创建更复杂的示例数据
df = pd.DataFrame({
    '日期': ['2024-01', '2024-01', '2024-02', '2024-02'] * 3,
    '地区': ['北', '南', '北', '南'] * 3,
    '产品': ['A']*4 + ['B']*4 + ['C']*4,
    '销售额': [100, 150, 120, 180, 80, 120, 90, 140, 60, 90, 70, 110]
})

# 简单透视表
pivot = df.pivot_table(
    values='销售额',
    index='日期',
    columns='产品',
    aggfunc='sum'
)

# 复杂透视表
pivot = df.pivot_table(
    values='销售额',
    index=['日期', '地区'],
    columns='产品',
    aggfunc={'销售额': ['sum', 'mean']},
    fill_value=0,
    margins=True,  # 添加总计
    margins_name='合计'
)

实战：销售数据分析报表

import pandas as pd

# 模拟销售数据
sales = pd.DataFrame({
    '订单ID': range(1, 101),
    '日期': pd.date_range('2024-01-01', periods=100, freq='D'),
    '销售员': np.random.choice(['张三', '李四', '王五', '赵六'], 100),
    '地区': np.random.choice(['华北', '华东', '华南'], 100),
    '产品': np.random.choice(['手机', '电脑', '平板'], 100),
    '数量': np.random.randint(1, 10, 100),
    '单价': np.random.choice([2999, 5999, 3999], 100)
})

sales['金额'] = sales['数量'] * sales['单价']

# 生成多维度报表
print("=== 销售分析报表 ===\n")

# 1. 按销售员统计
print("【销售员业绩TOP5】")
salesman_stats = sales.groupby('销售员').agg({
    '金额': 'sum',
    '订单ID': 'count'
}).rename(columns={'订单ID': '订单数'}).sort_values('金额', ascending=False)
print(salesman_stats)

# 2. 按地区统计
print("\n【地区销售对比】")
region_stats = sales.groupby('地区')['金额'].agg(['sum', 'mean', 'count'])
region_stats['占比'] = region_stats['sum'] / region_stats['sum'].sum()
print(region_stats)

# 3. 按月趋势
print("\n【月度销售趋势】")
sales['月份'] = sales['日期'].dt.to_period('M')
monthly = sales.groupby('月份')['金额'].sum()
print(monthly)

# 4. 产品交叉分析
print("\n【地区-产品交叉分析】")
cross = pd.pivot_table(sales, values='金额', index='地区', 
                       columns='产品', aggfunc='sum')
print(cross)

性能优化技巧

# 1. 分类类型加速
df['部门'] = df['部门'].astype('category')

# 2. 只选择需要的列
df[['部门', '销售额']].groupby('部门').sum()

# 3. 使用numba加速（复杂计算）
# import numba

# 4. 分块处理大数据
for chunk in pd.read_csv('big.csv', chunksize=10000):
    result = chunk.groupby('key').sum()