Pandas正则

一、基础概念

Pandas是Python中最常用的工具之一，用于数据分析和数据清洗。在进行数据清洗时，常常会用到正则表达式。正则表达式是一种通过字符序列来匹配字符模式的方法。在Pandas中，正则表达式是一个重要的工具，可以用来从数据中提取必要的信息，比如说匹配和整理数据框中的字符串，过滤数据等。

在Pandas中，主要用到的函数有str.contains、str.match、str.findall、str.replace等。其中str.contains返回布尔值，指示某个字符串是否包含匹配模式；str.match返回布尔值，指示字符串的起始是否匹配给定的模式。str.findall返回的是所有匹配成功的组成的列表。str.replace则返回一个新字符串，将字符串中给定的正则表达式匹配成的字符串替换为另一个字符串。

二、使用场景

正则表达式在Pandas中可用于提取、替换和过滤数据。在实际应用中，大量的数据需要清理，例如去除空数据、替换数据、统计并排序数据、进行数据分析或给数据加标记等。通过使用正则表达式，可以大大方便这些工作的实现。

例如，我们可以使用str.replace函数将数据中的某些无效字符替换成空值或者其他特定的值。使用startswith函数检查字符串是否以指定的字符或字符串开头，使用endswith函数检查字符串是否以指定的字符或字符串结尾。如果我们需要提取数据框中的一部分数据，我们可以使用str.extract函数，它允许我们提取一个匹配正则表达式的字符串，并将其放入另一个新列中。

三、代码示例

import pandas as pd

# 定义数据框
data = {'name': ['Amy', 'Tom', 'Jessie', 'Mary', 'Jack'], 
        'age': [20, 22, 28, 30, 32], 
        'city': ['Beijing', 'Shanghai', 'Shenzhen', 'Beijing', 'Shanghai'], 
        'gender': ['female', 'male', 'female', 'female', 'male']}
df = pd.DataFrame(data)
        
# 使用str.contains函数过滤数据
new_df = df[df['city'].str.contains('Shanghai')]
print(new_df)

# 使用str.match和startswith函数过滤数据
new_df = df[df['name'].str.startswith('J')]
print(new_df)

# 使用str.extract提取数据并创建新列
df['postcode'] = df['city'].str.extract('\((.*?)\)')
print(df)

# 使用str.replace函数替换数据
df['gender'] = df['gender'].str.replace('male', 'M')
df['gender'] = df['gender'].str.replace('female', 'F')
print(df)

四、总结

在数据清洗和分析中，正则表达式是一个非常重要的工具。在Pandas中，我们可以使用字符串函数str配合正则表达式快速实现数据的过滤、提取和替换等操作。同时，通过加深对正则表达式的认识，我们还可以更好地利用Pandas中的其他函数，加快数据清洗的效率，提高数据分析的精度。