深度学习发展很快，新的模型层出不穷，所以要想全部列举是不可能的。另外，很多模型都是这里提出很长很长时间了，所以也不是说“老”模型就没用，大家学习的话，还是要全面而深入的学习。
1、 Feed forward neural networks (FF or FFNN) and perceptrons (P)
前馈神经网络和感知机，信息从前（输入）往后（输出）流动，一般用反向传播（BP）来训练。算是一种监督学习。
2、Radial basis function (RBF)
径向基函数网络，是一种径向基函数作为激活函数的FFNNs（前馈神经网络）。
3、 Hopfield network (HN)
Hopfield网络，是一种每个神经元都跟其它神经元相连接的神经网络。
4、 Markov chains (MC or discrete time Markov Chain, DTMC)
马尔可夫链 或离散时间马尔可夫链，算是BMs和HNs的雏形。
5、 Boltzmann machines (BM)
玻尔兹曼机，和Hopfield网络很类似，但是：一些神经元作为输入神经元，剩余的是隐藏层。
6、Restricted Boltzmann machines (RBM)
受限玻尔兹曼机，和玻尔兹曼机 以及 Hopfield网络 都比较类似。
7、 Autoencoders (AE)
自动编码，和FFNN有些类似，它更像是FFNN的另一种用法，而不是本质上完全不同的另一种架构。
8、Sparse autoencoders (SAE)
稀疏自动编码，跟自动编码在某种程度比较相反。
9、 Variational autoencoders (VAE)
变分自动编码，和AE架构相似，不同的是：输入样本的一个近似概率分布。这使得它跟BM、RBM更相近。
10、 Denoising autoencoders (DAE)
去噪自动编码，也是一种自编码机，它不仅需要训练数据，还需要带噪音的训练数据。
11 Deep belief networks (DBN）
深度信念网络，由多个受限玻尔兹曼机或变分自动编码堆砌而成。
12 Convolutional neural networks (CNN or deep convolutional neural networks, DCNN)
卷积神经网络，这个不解释也都知道。
13 Deconvolutional networks (DN)
去卷积网络，又叫逆图形网络，是一种逆向的卷积神经网络。
14 Deep convolutional inverse graphics networks (DCIGN)
深度卷积逆向图网络，实际上是VAE，且分别用CNN、DNN来作编码和解码。
15 Generative adversarial networks (GAN)
生成对抗网络，Goodfellow的封神之作，这个模型不用解释也都知道。
16 Recurrent neural networks (RNN)
循环神经网络，这个更不用解释，做语音、NLP的没有人不知道，甚至非AI相关人员也知道。
17 Long / short term memory (LSTM)
长短期记忆网络， RNN的变种，解决梯度消失/爆炸的问题，也不用解释，这几年刷爆各大顶会。
18 Gated recurrent units (GRU)
门循环单元，类似LSTM的定位，算是LSTM的简化版。
19 Neural Turing machines (NTM)
神经图灵机，LSTM的抽象，以窥探LSTM的内部细节。具有读取、写入、修改状态的能力。
20 Bidirectional recurrent neural networks, bidirectional long / short term memory networks and bidirectional gated recurrent units (BiRNN, BiLSTM and BiGRU respectively)
双向循环神经网络、双向长短期记忆网络和双向门控循环单元，把RNN、双向的LSTM、GRU双向，不再只是从左到右，而是既有从左到右又有从右到左。
21 Deep residual networks (DRN)
深度残差网络，是非常深的FFNN，它可以把信息从某一层传至后面几层（通常2-5层）。
22 Echo state networks (ESN)
回声状态网络，是另一种不同类型的（循环）网络。
23 Extreme learning machines (ELM)
极限学习机，本质上是随机连接的FFNN。
24 Liquid state machines (LSM)
液态机，跟ESN类似，区别是用阈值激活函数取代了sigmoid激活函数。
2.25 Kohonen networks (KN, also self organising (feature) map, SOM, SOFM)
Kohonen 网络，也称之为自组织（特征）映射。
转载于： https://blog.csdn.net/angciyu/article/details/99729871
仅供学习交流 如有侵删
