Pandas数据变换：我总结了merge的5种用法，轻松整合多个数据源

2026-02-28

大家好，我是正在实战各种AI项目的程序员晚枫。

今天学习数据合并与连接，这是整合多个数据源的核心技能。

无论是关联订单和客户信息，还是拼接多个月份的数据，掌握这些技巧都能轻松搞定。

准备示例数据

import pandas as pd

# 员工表
employees = pd.DataFrame({
    '员工ID': [1, 2, 3, 4, 5],
    '姓名': ['张三', '李四', '王五', '赵六', '钱七'],
    '部门ID': [101, 102, 101, 103, 102]
})

# 部门表
departments = pd.DataFrame({
    '部门ID': [101, 102, 103, 104],
    '部门名': ['技术部', '销售部', '人事部', '财务部'],
    '经理': ['张经理', '李经理', '王经理', '赵经理']
})

# 工资表（部分员工）
salaries = pd.DataFrame({
    '员工ID': [1, 2, 3, 6],
    '基本工资': [15000, 12000, 18000, 10000],
    '奖金': [3000, 2000, 4000, 1500]
})

merge：数据库风格的连接

内连接（Inner Join）

只保留两个表都有的键

# 员工+部门（内连接）
result = pd.merge(employees, departments, on='部门ID', how='inner')
print(result)
# 只有部门ID在两张表中都存在的记录

左连接（Left Join）

保留左表所有记录，右表没有匹配的填NaN

# 员工+工资（左连接）
result = pd.merge(employees, salaries, on='员工ID', how='left')
print(result)
# 所有员工都有，没工资信息的显示NaN

右连接（Right Join）

保留右表所有记录

1 2	result = pd.merge(employees, salaries, on='员工ID', how='right') # 以工资表为主，员工表没有的显示NaN

外连接（Outer Join）

保留两边所有记录

1 2	result = pd.merge(employees, salaries, on='员工ID', how='outer') # 所有员工和所有工资记录都保留

连接方式对比

how参数	结果说明
inner	交集，只保留匹配的记录
left	以左表为主，右表补充
right	以右表为主，左表补充
outer	并集，保留所有记录

多键连接

# 当连接键列名不同时
left_df = pd.DataFrame({'A': [1, 2], 'B': ['a', 'b']})
right_df = pd.DataFrame({'C': [1, 2], 'D': ['x', 'y']})

result = pd.merge(left_df, right_df, left_on='A', right_on='C')

# 多列连接
orders = pd.DataFrame({
    '客户ID': [1, 1, 2],
    '日期': ['2024-01', '2024-02', '2024-01'],
    '金额': [100, 200, 150]
})

customers = pd.DataFrame({
    '客户ID': [1, 2],
    '日期': ['2024-01', '2024-01'],
    '等级': ['VIP', '普通']
})

result = pd.merge(orders, customers, on=['客户ID', '日期'], how='left')

concat：轴向连接

纵向拼接（增加行）

# 多个月份的数据拼接
df_jan = pd.DataFrame({'产品': ['A', 'B'], '销量': [100, 200]})
df_feb = pd.DataFrame({'产品': ['A', 'B'], '销量': [120, 220]})
df_mar = pd.DataFrame({'产品': ['A', 'B'], '销量': [130, 210]})

# 纵向拼接
quarter_data = pd.concat([df_jan, df_feb, df_mar], ignore_index=True)

# 保留来源信息
quarter_data = pd.concat([df_jan, df_feb, df_mar], 
                         keys=['1月', '2月', '3月'])

横向拼接（增加列）

df_info = pd.DataFrame({'ID': [1, 2], '姓名': ['张三', '李四']})
df_score = pd.DataFrame({'数学': [90, 85], '英语': [88, 92]})

# 横向拼接
df_full = pd.concat([df_info, df_score], axis=1)

join：基于索引的连接

# 设置索引后使用join
employees_idx = employees.set_index('员工ID')
salaries_idx = salaries.set_index('员工ID')

# 左连接
result = employees_idx.join(salaries_idx, how='left')

# 连接多个表
result = employees_idx.join([salaries_idx, other_table_idx])

实战：完整的数据整合流程

# 场景：整合分散在多个表的销售数据

# 1. 读取各表
orders = pd.read_csv('orders.csv')      # 订单表
products = pd.read_csv('products.csv')  # 产品表
customers = pd.read_csv('customers.csv') # 客户表
regions = pd.read_csv('regions.csv')     # 地区表

# 2. 逐步合并
# 订单 + 产品信息
sales = pd.merge(orders, products, on='产品ID', how='left')

# + 客户信息
sales = pd.merge(sales, customers, on='客户ID', how='left')

# + 地区信息
sales = pd.merge(sales, regions, on='地区ID', how='left')

# 3. 计算字段
sales['总金额'] = sales['单价'] * sales['数量']
sales['利润'] = sales['总金额'] - sales['成本']

# 4. 保存结果
sales.to_csv('sales_report.csv', index=False)

print("数据整合完成！")
print(f"总记录数: {len(sales)}")
print(f"总销售额: {sales['总金额'].sum():,.2f}")

常见问题与解决

问题1：重复列名

1 2	# 自动添加后缀 result = pd.merge(df1, df2, on='key', suffixes=('_左', '_右'))

问题2：数据类型不匹配

1
2
3

# 统一类型后再合并
df1['ID'] = df1['ID'].astype(str)
df2['ID'] = df2['ID'].astype(str)

问题3：内存不足

# 分块处理
chunks = []
for chunk in pd.read_csv('large_file.csv', chunksize=10000):
    merged = pd.merge(chunk, lookup_table, on='key')
    chunks.append(merged)

result = pd.concat(chunks, ignore_index=True)