一、基础数据结构
Python Pandas是一款用于数据操作和数据分析的高效Python库。它的基础数据结构是Series和DataFrame。Series是一维数据结构,类似于数组或列表,每个值都有相应的索引。DataFrame是二维数据结构,由多个Series组成,类似于表格或Excel电子表格,每个列都是一个Series。以下是Series和DataFrame示例代码:
import pandas as pd # 创建Series s = pd.Series([1, 3, 5, np.nan, 6, 8]) print(s) # 创建DataFrame df = pd.DataFrame({'A': [1, 2, 3], 'B': pd.Timestamp('20160101'), 'C': pd.Series(1, index=list(range(3)), dtype='float32'), 'D': np.array([3] * 3, dtype='int32'), 'E': pd.Categorical(["test", "train", "test"]), 'F': 'foo'}) print(df)
创建Series时,可以在列表中包含不同类型的数据,例如空值(NaN)和字符串。创建DataFrame时,可以使用字典表示多个Series,并为每个Series设置列名和数据类型。此外,DataFrame还支持Categorical类型,用于处理分类数据。
二、数据清洗
数据清洗是数据分析的重要步骤,涉及到缺失值、重复值、异常值和格式问题等。Python Pandas提供了一系列函数和方法用于数据清洗,以下是常用的函数和方法:
1. isna()和fillna()
isna()函数用于检查每个元素是否为空值,fillna()函数用于填充空值。以下是示例代码:
import pandas as pd import numpy as np # 创建包含空值的DataFrame df = pd.DataFrame({'A': [1, 2, np.nan], 'B': [4, np.nan, np.nan], 'C': [7, 8, 9]}) print(df) # 检查是否为空值 print(df.isna()) # 填充空值 df = df.fillna(0) print(df)
在示例中,创建了一个包含空值的DataFrame。isna()函数用于检查每个元素是否为空值,输出结果是一个与原DataFrame相同大小的布尔型DataFrame。fillna()函数用于填充空值,在示例中使用了0填充空值。
2. drop_duplicates()
drop_duplicates()方法用于删除DataFrame中的重复行。以下是示例代码:
import pandas as pd # 创建包含重复行的DataFrame df = pd.DataFrame({'A': [1, 1, 2, 3], 'B': [4, 5, 6, 7], 'C': [8, 9, 8, 10]}) print(df) # 删除重复行 df = df.drop_duplicates() print(df)
在示例中,创建了一个包含重复行的DataFrame。drop_duplicates()方法用于删除重复行,输出结果是一个不包含重复行的DataFrame。
3. astype()
astype()方法用于更改Series或DataFrame的数据类型。以下是示例代码:
import pandas as pd # 创建一个包含整数和字符串的Series s = pd.Series([1, 2, 3, '4']) print(s) # 将整数转为字符串 s = s.astype(str) print(s)
在示例中,创建了一个包含整数和字符串的Series。astype()方法用于将整数转为字符串,输出结果是一个整数转为字符串的Series。
三、数据统计
数据统计是数据分析的核心步骤之一,Python Pandas提供了丰富的函数和方法用于数据统计和聚合。以下是常用的函数和方法:
1. describe()
describe()方法用于计算Series或DataFrame的多个统计信息,例如均值、标准差、最小值、最大值等。以下是示例代码:
import pandas as pd import numpy as np # 创建一个随机DataFrame df = pd.DataFrame(np.random.randn(10, 5), columns=list('ABCDE')) print(df) # 计算多个统计信息 print(df.describe())
在示例中,创建了一个随机DataFrame。describe()方法用于计算多个统计信息,输出结果是一个包含多个统计信息的DataFrame。
2. groupby()
groupby()方法用于对DataFrame进行分组,然后进行聚合计算。例如,可以按照一个列进行分组,然后计算另一列的均值、标准差等。以下是示例代码:
import pandas as pd # 创建一个包含姓名、科目和分数的DataFrame df = pd.DataFrame({'Name': ['Alice', 'Bob', 'Charlie', 'David', 'Emily'] * 2, 'Subject': ['Math'] * 5 + ['English'] * 5, 'Score': [90, 80, 85, 95, 92, 82, 75, 80, 88, 90]}) print(df) # 按姓名进行分组,然后计算每个姓名的平均分数 grouped = df.groupby('Name') print(grouped.mean())
在示例中,创建了一个包含姓名、科目和分数的DataFrame。groupby()方法用于按姓名进行分组,然后计算每个姓名的平均分数,输出结果是一个以姓名为索引的DataFrame。
3. pivot_table()
pivot_table()方法用于将DataFrame中的数据重新排列,生成一个新的DataFrame。例如,可以将一个DataFrame按照行列索引进行分组,然后计算另一列的均值、标准差等。以下是示例代码:
import pandas as pd # 创建一个包含姓名、科目和分数的DataFrame df = pd.DataFrame({'Name': ['Alice', 'Bob', 'Charlie', 'David', 'Emily'] * 2, 'Subject': ['Math'] * 5 + ['English'] * 5, 'Score': [90, 80, 85, 95, 92, 82, 75, 80, 88, 90]}) print(df) # 将DataFrame重新排列,生成新的DataFrame table = pd.pivot_table(df, values='Score', index=['Name'], columns=['Subject'], aggfunc=np.mean) print(table)
在示例中,创建了一个包含姓名、科目和分数的DataFrame。pivot_table()方法用于将DataFrame重新排列,生成一个新的DataFrame,其中行索引为姓名,列索引为科目,值为分数的均值。输出结果是一个新的DataFrame。