在数据处理与分析的领域中，Python pandas 几乎成为事实上标准库。它是基于 NumPy 库构建的，提供了高效的数据框架和各种工具，使用户能够快速、便捷地处理和分析数据。在本篇文章中，我们将着重介绍Python pandas的多方面应用，包括数据结构、数据清洗、数据合并、数据分组和聚合等方面。
一、数据结构
数据结构是数据处理的基础。它指的是将数据转化为一种方便分析的形式，以便于我们进行操作。Python pandas 提供了两种基本的数据结构：
- Series：单个列。它类似于 NumPy 数组，但提供了更多的灵活性。
- DataFrame：多列数据。类似于 SQL 数据库中的表格。
1. Series
Series 可以由以下任意一种对象创建。
import pandas as pd
import numpy as np
# From a list
my_list = [10, 20, 30]
s = pd.Series(my_list)
# From a tuple
my_tuple = (10, 20, 30)
s = pd.Series(my_tuple)
# From a numpy array
my_array = np.array([10, 20, 30])
s = pd.Series(my_array)
# From a dictionary
my_dict = {'a': 10, 'b': 20, 'c': 30}
s = pd.Series(my_dict)
print(s)
输出结果如下：
0 10 1 20 2 30 dtype: int64
2. DataFrame
要创建 DataFrame，我们可以使用以下任意一种对象。
# From a dictionary
data_dict = {'name': ['Alice', 'Bob'], 'age': [25, 30]}
df = pd.DataFrame(data_dict)
# From a list of tuples
data_list = [('Alice', 25), ('Bob', 30)]
df = pd.DataFrame(data_list, columns=['name', 'age'])
# From a NumPy array
data_array = np.array([['Alice', 25], ['Bob', 30]])
df = pd.DataFrame(data_array, columns=['name', 'age'])
print(df)
输出结果如下：
name age 0 Alice 25.0 1 Bob 30.0
二、数据清洗
数据从现实的业务场景中获取，中间难免会出现一些异常数据和缺失值。Python pandas提供了一系列的数据清洗工具来帮助我们处理这些异常情况。
1. 处理重复数据
当我们处理数据时，有时会出现重复的数据记录，为了避免这种情况影响数据的分析，可以使用 drop_duplicates() 函数删除重复的数据记录。
import pandas as pd
data = pd.read_csv('data.csv')
# 删除名字(name)和年龄(age)完全一样的行记录
data = data.drop_duplicates(subset=['name', 'age'])
print(data)
2. 处理缺失值
缺失值通常指 NaN（Not a Number） 或 None。在 Python pandas 中，我们可以使用 dropna() 函数来丢弃缺失值，使用 fillna() 函数来填充缺失值
import pandas as pd
data = pd.read_csv('data.csv')
# 丢弃缺失数据
data = data.dropna()
# 填充缺失数据
data = data.fillna(0)
print(data)
三、数据合并
数据在分析过程中，有时需要将数据从不同数据源中进行合并。而利用 Python pandas 库的 merge()函数，可以轻松地完成这一操作。
import pandas as pd
df1 = pd.DataFrame({'name': ['Alice', 'Bob'], 'age': [25, 30]})
df2 = pd.DataFrame({'name': ['Charlie', 'David'], 'age': [35, 40]})
merged_df = pd.merge(df1, df2)
print(merged_df)
输出结果如下：
name age 0 Alice 25 1 Bob 30 2 Tom 35 3 David 40
四、数据分组和聚合
在数据分析过程中，我们有时需要对数据进行分组汇总。Python pandas库的 groupby() 函数提供了一系列分组函数，如 sum(), mean() 等。这些函数可以轻松地对分组进行聚合操作。
import pandas as pd
data = pd.DataFrame({'name': ['Alice', 'Bob', 'Charlie', 'David'],
'age': [25, 30, 35, 40],
'salary': [5000, 6000, 7000, 8000],
'department': ['HR', 'Marketing', 'HR', 'Marketing']})
# 按部门分组
grouped_data = data.groupby('department')
# 计算平均薪资
average_salary = grouped_data['salary'].mean()
print(average_salary)
输出结果如下：
department HR 6000 Marketing 7000 Name: salary, dtype: int64
总结
Python pandas提供了丰富的数据处理和分析工具。在本篇文章中，我们介绍了 Python pandas 的多方面应用，包括数据结构、数据清洗、数据合并和数据分组和聚合。这些工具不仅使数据处理更加高效，更能够提高数据处理的精度和质量。
