Pandas字符串处理：我用这10个方法，5分钟清洗完 messy 的文本数据

2026-03-01

大家好，我是正在实战各种AI项目的程序员晚枫。

今天学习Pandas中的字符串处理，这是清洗文本数据的必备技能。

无论是处理用户输入、解析日志文件，还是提取关键信息，掌握这些技巧都能让你事半功倍。

.str访问器

Pandas为Series提供了.str访问器，可以像操作Python字符串一样处理整列数据。

import pandas as pd

df = pd.DataFrame({
    '姓名': [' 张三 ', '李四', '王五'],
    '邮箱': ['zhangsan@example.com', 'LiSi@test.COM', 'wangwu@company.cn'],
    '电话': ['138-0013-8000', '13900138001', '137 0013 7000'],
    '地址': ['北京市朝阳区', '上海市浦东新区', '广州市天河区']
})

1. 大小写转换

# 转小写
df['邮箱_小写'] = df['邮箱'].str.lower()

# 转大写
df['邮箱_大写'] = df['邮箱'].str.upper()

# 首字母大写
df['姓名_规范'] = df['姓名'].str.title()

2. 去除空白字符

# 去除首尾空格
df['姓名_去空格'] = df['姓名'].str.strip()

# 去除左侧空格
df['姓名'] = df['姓名'].str.lstrip()

# 去除右侧空格
df['姓名'] = df['姓名'].str.rstrip()

# 去除所有空格（包括中间）
df['电话_纯数字'] = df['电话'].str.replace(' ', '').str.replace('-', '')

3. 字符串替换

# 简单替换
df['电话_标准'] = df['电话'].str.replace('-', ' ')

# 正则表达式替换（删除所有非数字字符）
df['电话_数字'] = df['电话'].str.replace(r'\D', '', regex=True)

# 多字符替换
df['地址_简写'] = df['地址'].str.replace('市', '').str.replace('区', '')

4. 分割与提取

# 按字符分割
df[['城市', '区县']] = df['地址'].str.split('市', expand=True)

# 限制分割次数
df['邮箱域名'] = df['邮箱'].str.split('@').str[1]

# 提取子串（位置）
df['区号'] = df['电话_数字'].str[:3]  # 前3位

# 提取子串（正则）
df['运营商'] = df['电话_数字'].str.extract(r'(1[38]\d)')

5. 包含与匹配

# 是否包含子串
df['是移动'] = df['电话'].str.contains('138|139')

# 以某字符串开头
df['是北京'] = df['地址'].str.startswith('北京')

# 以某字符串结尾
df['是com邮箱'] = df['邮箱'].str.endswith('.com')

# 正则匹配
df['有效邮箱'] = df['邮箱'].str.match(r'^[\w\.-]+@[\w\.-]+\.\w+$')

6. 查找与计数

# 查找位置
df['@位置'] = df['邮箱'].str.find('@')

# 统计出现次数
df['e的数量'] = df['邮箱'].str.count('e')

# 获取长度
df['邮箱长度'] = df['邮箱'].str.len()

7. 填充对齐

# 左填充（补齐位数）
df['订单号'] = df['订单号'].str.zfill(8)  # 00001234

# 居中
df['姓名_居中'] = df['姓名'].str.center(10, '*')

# 左右填充
df['姓名_左对齐'] = df['姓名'].str.ljust(10)
df['姓名_右对齐'] = df['姓名'].str.rjust(10)

8. 条件筛选

# 筛选包含特定字符串的行
gmail_users = df[df['邮箱'].str.contains('gmail', na=False)]

# 多条件筛选
beijing_mobile = df[
    (df['地址'].str.contains('北京')) & 
    (df['电话'].str.contains('138'))
]

9. 高级提取

# 提取所有匹配项
texts = pd.Series(['订单A123金额¥500', '订单B456金额¥800'])
orders = texts.str.extractall(r'订单(\w+)金额¥(\d+)')

# 命名捕获组
df[['用户名', '域名']] = df['邮箱'].str.extract(r'(?P<user>[\w\.]+)@(?P<domain>[\w\.]+)')

10. 实战： messy 数据清洗

import pandas as pd
import re

# 原始 messy 数据
messy_data = pd.DataFrame({
    '客户信息': [
        ' 张三 | zhangsan@EXAMPLE.com | 138-0013-8000 | 北京 朝阳 ',
        '李四,lisi@test.COM,13900138001,上海浦东',
        '王五 | wangwu@Company.cn | 137 0013 7000 | 广州-天河'
    ]
})

print("原始数据:")
print(messy_data)

def clean_customer_info(info):
    """清洗客户信息"""
    # 统一分隔符为空格
    info = re.sub(r'[,|]', ' ', info)
    
    # 分割成列表
    parts = info.split()
    
    # 清理每个部分
    cleaned = []
    for part in parts:
        part = part.strip()
        if '@' in part:  # 邮箱
            part = part.lower()
        elif part.replace('-', '').replace(' ', '').isdigit():  # 电话
            part = re.sub(r'\D', '', part)
        cleaned.append(part)
    
    return cleaned

# 应用清洗
expanded = messy_data['客户信息'].apply(clean_customer_info)
messy_data[['姓名', '邮箱', '电话', '地址']] = pd.DataFrame(expanded.tolist())

print("\n清洗后:")
print(messy_data[['姓名', '邮箱', '电话', '地址']])