Python异常值处理

一、什么是异常值

异常值是指数据集中的一些值与其他值相差较大，不符合现实或理论的规律，常常成为数据分析中的难点。Python的异常处理机制可以有效地识别、捕获和处理这些异常值。

二、异常值识别

Python可以通过多种方式来识别异常值，包括：直方图、箱型图、离群值检测以及基于统计学的方法。

1、直方图

import matplotlib.pyplot as plt
import numpy as np

x = np.random.randn(1000)
plt.hist(x, bins=30)
plt.show()

上述代码可以生成一张直方图。异常值通常分布在直方图两端，分布较稀疏处。

2、箱型图

import matplotlib.pyplot as plt
import numpy as np

x = np.random.randn(1000)
plt.boxplot(x)
plt.show()

上述代码可以生成一张箱型图。使用箱型图可以有效地检测数据中的异常值，箱型图中的“触须”即为异常值。

3、离群值检测

import numpy as np
from sklearn.covariance import EllipticEnvelope

x = np.random.randn(1000, 2)
x[:50, 0] += 5
x[50:100, 1] += 5
clf = EllipticEnvelope(contamination=0.1)
clf.fit(x)
y_pred = clf.predict(x)
print(np.where(y_pred==-1))

上述代码使用了一个离群值检测器——椭圆包络。如果一个点被预测为异常值，则其对应的序号会在输出中被标记为-1。

4、基于统计学的方法

import numpy as np

x = np.random.randn(1000)
m = np.mean(x)
s = np.std(x)
threshold = 2
outliers = []
for i in range(len(x)):
    if abs(x[i]-m) > threshold*s:
        outliers.append(i)

print(outliers)

上述代码使用了基于统计学的方法来识别异常值，所有距离均值大于2倍标准差的数据点都被识别为异常值。

三、异常值处理

Python可以通过多种方式来处理异常值，包括：替换、删除以及基于模型的方法。

1、替换

import numpy as np

x = np.random.randn(1000)
m = np.mean(x)
s = np.std(x)
threshold = 2
outliers = []
for i in range(len(x)):
    if abs(x[i]-m) > threshold*s:
        outliers.append(i)

for i in outliers:
    x[i] = m

print(np.where(abs(x-m)>threshold*s))

上述代码使用均值代替所有异常值。所有被代替的数据点均会接近均值，不再被识别为异常。

2、删除

import numpy as np

x = np.random.randn(1000)
m = np.mean(x)
s = np.std(x)
threshold = 2
outliers = []
for i in range(len(x)):
    if abs(x[i]-m) > threshold*s:
        outliers.append(i)

x = np.delete(x, outliers)

print(len(outliers))

上述代码删除了所有异常值。数据集将变得更加干净，但也会造成一定的数据量损失。

3、基于模型的方法

import numpy as np
from sklearn.covariance import EllipticEnvelope

x = np.random.randn(1000, 2)
x[:50, 0] += 5
x[50:100, 1] += 5
clf = EllipticEnvelope(contamination=0.1)
clf.fit(x)
y_pred = clf.predict(x)

x_new = []
for i in range(len(x)):
    if y_pred[i] == 1:
        x_new.append(x[i])

print(len(x_new)/len(x))

上述代码使用了基于模型的方法来处理异常值。离群值检测器会将所有异常值标记并删除，只留下正常数据，从而使数据更具表现性。