Python数据处理模块pandas常用功能

Python数据处理模块pandas是一个强大的数据处理工具，非常适合进行大规模、多变量的数据处理和数据分析。pandas提供了多种数据结构和数据处理方法，操作简单灵活，功能丰富。

一、读取、保存数据

pandas支持多种文件格式，如csv、Excel、JSON、HTML、SQL等。可以使用pandas.read_csv()函数读取csv文件，并使用.to_csv()将文件保存为csv。

import pandas as pd
df = pd.read_csv('data.csv')
df.to_csv('new_data.csv', index=False)

其中，index=False表示不将索引写入文件。此外，read_excel、read_json、read_html、read_sql等函数也都十分便捷。

二、数据预处理

pandas提供了很多函数来处理数据中的缺失值和异常值。如fillna()函数用于填充缺失值，dropna()函数用于删除缺失值的行或列，而replace()函数则可以用来替换异常值为合理的值。

import pandas as pd
df = pd.read_csv('data.csv')
df.dropna() # 删除含有缺失值的行
df.fillna(0) # 将缺失值填充为0
df.replace({-999:0, -1000:1}) # 将-999替换为0，将-1000替换为1

三、数据切片、索引

pandas中有两个核心结构：Series和DataFrame。Series是一维数组，而DataFrame则是二维的表格结构。可以使用loc、iloc等函数进行数据切片和索引。

import pandas as pd
# 创建DataFrame
data = {'name': ['Alice', 'Bob', 'Charlie', 'David'], 
        'age': [25, 30, 35, 40]}
df = pd.DataFrame(data)
# loc方法进行行列切片和索引
df.loc[1:2, 'name':'age']

其中，loc方法中第一个参数表示要切片的行，第二个参数表示要筛选的列名。

四、数据统计

pandas提供了一些常用的函数来进行数据统计，如mean()、sum()、std()、var()等。此外，pandas还支持使用groupby函数进行数据分组和统计。

import pandas as pd
# 创建DataFrame
data = {'name': ['Alice', 'Bob', 'Charlie', 'David'], 
        'age': [25, 30, 35, 40], 
        'income': [5000, 6000, 7000, 8000]}
df = pd.DataFrame(data)
# 根据age进行分组并计算income的平均值
df.groupby('age')['income'].mean()

以上函数分别计算了不同年龄段的人的平均收入。

五、数据可视化

使用pandas内置的plot函数可以进行简单的数据可视化。常用的绘图函数有plot()、scatter()、bar()、hist()等。

import pandas as pd
import matplotlib.pyplot as plt
# 创建DataFrame
data = {'name': ['Alice', 'Bob', 'Charlie', 'David'], 
        'age': [25, 30, 35, 40], 
        'income': [5000, 6000, 7000, 8000]}
df = pd.DataFrame(data)
# 绘制收入柱状图
df.plot(kind='bar', x='name', y='income')
plt.show()

以上代码绘制了一个收入柱状图，展示了不同人的收入情况。

总结

pandas是一个功能强大的数据处理工具，本文介绍了其常用的读取、保存数据、数据预处理、数据切片、索引、数据统计和数据可视化等功能。熟练掌握这些功能可以大大提高数据处理和数据分析的效率。