LDA和PCA降维的区别

这里主要介绍LDA和PCA的区别：

相同点：

1）两者均可以对数据进行降维。

2）两者在降维时均使用了矩阵特征分解的思想。

3）两者都假设数据符合高斯分布。

不同点：

1）LDA是有监督的降维方法，而PCA是无监督的降维方法

2）LDA降维最多降到类别数k-1的维数，而PCA没有这个限制。

3）LDA除了可以用于降维，还可以用于分类。

4）LDA选择分类性能最好的投影方向，而PCA选择样本点投影具有最大方差的方向。

LDA和PCA所用库：

import numpy as np import matplotlib.pyplot as plt from mpl_toolkits.mplot3d import Axes3D # 用来绘制3D图 from sklearn.decomposition import PCA from pca_my import loaddataset from sklearn.discriminant_analysis import LinearDiscriminantAnalysis as LDA

lda代码如下：

def lda_(): data = loaddataset('txt/10/all/500_all.txt') x = data[:, 1:] y = data[:, 0].astype(int) y = np.array(y).reshape(-1, 1) lda1 = LDA(n_components=2) x_r = lda1.fit(x, y).transform(x) fig2 = plt.figure() ax2 = fig2.add_subplot(111) ax2.scatter(x_r[:, 0], x_r[:, 1], marker='o', c=y) fig2.savefig('picture/f_lda.png', bbox_inches='tight')

由于lda只可以最多降维到k-1类特征，我的数据集只有3类，所以我设置n_components=2，最后结果如下： pca代码如下：

def pca_(): datamat = loaddataset('txt/10/all/0_all.txt') x = datamat[:, 1:] y = datamat[:, 0].astype(int) y = np.array(y).reshape(-1, 1) datamat = x pca1 = PCA(n_components=2) # n_components表示保留主成分个数 pca1.fit(datamat) # 用数据datamet来训练PCA模型 lowdata = pca1.transform(datamat) # 对数据归一化 """ fig = plt.figure() ax1 = Axes3D(fig) #ax1.scatter(reconmat1[:, 0], reconmat1[:, 1], reconmat1[:, 2], cmap='Blues') #ax1.scatter(reconmat4[:, 0], reconmat4[:, 1], reconmat4[:, 2], cmap='red') #ax1.scatter(reconmat7[:, 0], reconmat7[:, 1], reconmat7[:, 2], cmap='#bcbd22') fig.savefig('picture/f3D.png', bbox_inches='tight') """ fig1 = plt.figure() ax = fig1.add_subplot(111) ax.scatter(lowdata[:, 0], lowdata[:, 1], marker='o', c=y) # fig1.show() fig1.savefig('picture/f2D.png', bbox_inches='tight')

可以看出我这里的实验，使用LDA比PCA效果要好一点，对于数据有类别的，建议使用LDA进行降维。