上一篇文章学习了极大似然估计和EM算法，这一章节就是学习EM算法的具体应用场景，高斯混合模型，是一中聚类的算法。
一：高斯混合模型（GMM）
我们将一个分布复杂的数据分布，用多个高斯概率分布来共同表示，如上图，一维数据下，红色的线条，用了三个高斯分布来表示了。红色线条可以看成是数据分布的密度分布，三个波峰，数据分布的密度相对较大。
再举个例子，我们那堆西瓜，如果我们不考虑类别，就可以直接全部看成是一个类别的，用分布密度曲线统计出，在体积区间范围内的西瓜个数密度，得到了一个概率密度曲线Y，但是实际上，我们西瓜是来自是那三个地方的，也就是三个类别的，因此概率密度曲线其实是三个概率分布共同组成的，如果每个类别的西瓜都是服从于高斯分布，那么概率密度曲线Y就是有三个高斯分布组成而成，这个就叫做高斯混合模型。
用到的算法也就是上述学习到的EM算法，通过给定类别个数，还有预设值的高斯模型，进行反复迭代更新求值，最终得到最优化的各个类别的模型参数。
所以高斯混合模型也是一个聚类的算法，通过自动学习出各个高斯模型的分布来对数据进行聚类。
二：实例运行
代码实例使用的是sklearn官网的例子，主要是看看该库函数额使用。
import itertools import numpy as np from scipy import linalg import matplotlib.pyplot as plt import matplotlib as mpl from sklearn import mixture color_iter = itertools.cycle(['navy', 'c', 'cornflowerblue', 'gold', 'darkorange']) def plot_results(X, Y_, means, covariances, index, title): splot = plt.subplot(2, 1, 1 + index) for i, (mean, covar, color) in enumerate(zip( means, covariances, color_iter)): v, w = linalg.eigh(covar) v = 2. * np.sqrt(2.) * np.sqrt(v) u = w[0] / linalg.norm(w[0]) # as the DP will not use every component it has access to # unless it needs it, we shouldn't plot the redundant # components. if not np.any(Y_ == i): continue plt.scatter(X[Y_ == i, 0], X[Y_ == i, 1], .8, color=color) # Plot an ellipse to show the Gaussian component angle = np.arctan(u[1] / u[0]) angle = 180. * angle / np.pi # convert to degrees ell = mpl.patches.Ellipse(mean, v[0], v[1], 180. + angle, color=color) ell.set_clip_box(splot.bbox) ell.set_alpha(0.5) splot.add_artist(ell) plt.xlim(-9., 5.) plt.ylim(-3., 6.) plt.xticks(()) plt.yticks(()) plt.title(title) # Number of samples per component n_samples = 500 # Generate random sample, two components np.random.seed(0) C = np.array([[0., -0.1], [1.7, .4]]) X = np.r_[np.dot(np.random.randn(n_samples, 2), C), .7 * np.random.randn(n_samples, 2) + np.array([-6, 3])] # Fit a Gaussian mixture with EM using five components gmm = mixture.GaussianMixture(n_components=5, covariance_type='full').fit(X) plot_results(X, gmm.predict(X), gmm.means_, gmm.covariances_, 0, 'Gaussian Mixture') # Fit a Dirichlet process Gaussian mixture using five components dpgmm = mixture.BayesianGaussianMixture(n_components=5, covariance_type='full').fit(X) plot_results(X, dpgmm.predict(X), dpgmm.means_, dpgmm.covariances_, 1, 'Bayesian Gaussian Mixture with a Dirichlet process prior') plt.show()我们能看到一些随机样本点，能够按照高斯分布模型被分为不同的类别，不同的的类别是不同的颜色。
