一、什么是GMM算法
GMM(Gaussian Mixture Model)是一种基于概率密度函数的聚类方法。GMM算法把数据看作若干个高斯分布随机变量的组合,因此,它也被称为混合高斯模型。在GMM模型中,每一个数据点都可以被多个高斯分布所解释,每一个高斯分布代表簇中的一个部分。通过计算每个高斯分布对于数据点的贡献度,可以确定该数据点所属的聚类簇。
二、GMM算法的原理
GMM算法把数据看成由若干个高斯分布组成的混合分布,并通过最大似然估计来求解模型参数。模型参数包括每个高斯分布的均值、协方差矩阵和权重。具体来说,GMM算法的原理包括以下几个步骤:
1、初始化模型参数:包括高斯分布的均值、协方差矩阵和权重。一般地,初始化时选取K个随机数,分别作为K个高斯分布的均值,对于协方差矩阵采用单位矩阵进行初始化,而每个高斯分布的权重使用平均值进行初始化。
import numpy as np from sklearn.mixture import GaussianMixture X = np.array([...]) gm_model = GaussianMixture(n_components=K, covariance_type='full', random_state=0) gm_model.fit(X) print(gm_model.means_) # K个高斯分布的均值 print(gm_model.covariances_) # K个高斯分布的协方差矩阵 print(gm_model.weights_) # K个高斯分布的权重
2、E步骤:计算数据点被每个高斯分布所解释的概率。具体来讲就是计算每个数据点分别属于这K个高斯分布的概率分布,并且使用权重对其进行加权求和。
import numpy as np from scipy.stats import multivariate_normal def calc_prob(X, mu, sigma, alpha): prob = [] for i in range(K): norm = multivariate_normal(mean=mu[i], cov=sigma[i]) prob.append(norm.pdf(X) * alpha[i]) return prob X = np.array([...]) mu = np.array([...]) # K个高斯分布的均值 sigma = np.array([...]) # K个高斯分布的协方差矩阵 alpha = np.array([...]) # K个高斯分布的权重 prob = calc_prob(X, mu, sigma, alpha)
3、M步骤:更新高斯分布的均值、协方差矩阵和权重,使得对于每个数据点,被加权后的高斯分布概率值最大。具体的更新方式如下:
对于每个高斯分布,更新均值与协方差矩阵
import numpy as np def update_mu_sigma(X, prob): mu = [] sigma = [] for i in range(K): mu_i = np.sum(prob[:, i].reshape(-1, 1) * X, axis=0) / np.sum(prob[:, i]) mu.append(mu_i) sigma_i = np.zeros((n_features, n_features)) for j in range(n_samples): sigma_i += prob[j][i] * np.dot((X[j] - mu_i).reshape(-1, 1), (X[j] - mu_i).reshape(1,-1)) sigma_i /= np.sum(prob[:, i]) sigma.append(sigma_i) return np.array(mu), np.array(sigma) X = np.array([...]) prob = np.array([...]) n_samples, n_features = X.shape mu_new, sigma_new = update_mu_sigma(X, prob)
对于每个高斯分布,更新权重
import numpy as np def update_alpha(prob): alpha = np.sum(prob, axis=0) / prob.shape[0] return alpha prob = np.array([...]) alpha_new = update_alpha(prob)
4、重复进行E步骤和M步骤,直至收敛。
import numpy as np from scipy.stats import multivariate_normal def calc_prob(X, mu, sigma, alpha): prob = [] for i in range(K): norm = multivariate_normal(mean=mu[i], cov=sigma[i]) prob.append(norm.pdf(X) * alpha[i]) return prob def update_mu_sigma(X, prob): mu = [] sigma = [] for i in range(K): mu_i = np.sum(prob[:, i].reshape(-1, 1) * X, axis=0) / np.sum(prob[:, i]) mu.append(mu_i) sigma_i = np.zeros((n_features, n_features)) for j in range(n_samples): sigma_i += prob[j][i] * np.dot((X[j] - mu_i).reshape(-1, 1), (X[j] - mu_i).reshape(1,-1)) sigma_i /= np.sum(prob[:, i]) sigma.append(sigma_i) return np.array(mu), np.array(sigma) def update_alpha(prob): alpha = np.sum(prob, axis=0) / prob.shape[0] return alpha X = np.array([...]) n_samples, n_features = X.shape mu = [...] # K个高斯分布的均值 sigma = [...] # K个高斯分布的协方差矩阵 alpha = [...] # K个高斯分布的权重 tolerance = 1e-3 # 迭代收敛的阈值 max_iteration = 100 # 最大迭代次数 for i in range(max_iteration): prob = calc_prob(X, mu, sigma, alpha) mu_new, sigma_new = update_mu_sigma(X, prob) alpha_new = update_alpha(prob) # 计算收敛程度 diff_mu = np.abs(np.linalg.norm(mu_new) - np.linalg.norm(mu)) diff_sigma = np.abs(np.linalg.norm(sigma_new) - np.linalg.norm(sigma)) diff_alpha = np.abs(np.linalg.norm(alpha_new) - np.linalg.norm(alpha)) mu, sigma, alpha = mu_new, sigma_new, alpha_new if diff_mu < tolerance and diff_sigma < tolerance and diff_alpha < tolerance: break
三、GMM算法的应用
GMM算法在数据聚类、图像分割、异常检测等领域都有广泛的应用。其中,最常用的就是数据聚类。通过对数据进行聚类,我们可以发现不同的数据所对应的高斯分布,从而识别不同的数据类别。下面是一个使用GMM算法进行数据聚类的例子。
import numpy as np import matplotlib.pyplot as plt from sklearn.datasets import make_blobs from sklearn.mixture import GaussianMixture n_samples = 300 centers = [[1, 1], [-1, -1], [1, -1]] X, y_true = make_blobs(n_samples=n_samples, centers=centers, cluster_std=0.5) gm_model = GaussianMixture(n_components=3, covariance_type='full', random_state=0) gm_model.fit(X) labels = gm_model.predict(X) plt.scatter(X[:,0], X[:,1], c=labels, s=40, cmap='viridis') plt.show()
四、GMM算法的优缺点
GMM算法最大的优点是对数据的偏移和形状没有过多的要求,对于非线性、复杂的数据可以产生很好的聚类效果。而缺点则是算法的复杂度较高,计算量大,需要进行多次迭代,计算效率较低。同时,GMM算法还需要对初始值进行敏感的设置,对于不同的数据集,需要进行不同的参数调整。