网络的结构大体上分为三层：输入层—隐藏层—输出层。
卷积网络中分为：输入层—卷积层—池化层—全连接层—输出层。
在输入层中，需要设置初始参数，初始化方法如下：
1、uniform（均匀分布初始化） 将初始w权重用uniform函数初始化，初始化后的数值范围默认为（0,1），数值均匀分布在该范围内。
2、normal正态分布 默认按照（0,1）的正态分布，可以自己调整数值范围
3、常量初始化 自己设置常量初始值
4、xavier初始化
初始化的参数： （1）设置初始值的时候，一般将偏置初始化为0， （2）如果将所有的参数值初始化为0，网络中的梯度将不会再下降，如果权重w初始化为0，则反向传播时，权重无法更新； （3）如果权重w初始化为0，偏置b不为0，首次反向传播时，只有部分权重得到更新；第二次反向传播之后，全部权重可以得到更新，但更新速度过慢，容易造成梯度爆炸，梯度消失等问题
激活函数包括以下几种： 1、sigmoid函数 sigmoid函数可以用来二分类，取值范围是（0,1） 公式如下： 函数的图形趋势如一个倒立的‘Z’
2、ReLU函数 卷积神经网络中常用的激活函数，使一部分的神经元失活，50%的神经元有效，范围为（0，X）。优点：函数计算简单，有效避免梯度消失和梯度爆炸问题 公式如下：
3、tanh函数 一般在RNN网络中使用，形状如sigmoid函数，范围不一样，（-1,1）
4、softmax函数 在网络的最后一层使用，用于多分类问题，得到多个类别的概率，通过预测值的概率，选择概率较大的标签作为输出。公式如下：
损失函数计算预测值与真实值之间的误差，也是用来评判模型预测的准则之一 损失函数包括： 1、交叉熵损失 2、绝对值损失 3、均方差损失 4、均方差根误差
优化函数是根据损失函数计算得到的误差来对参数进行更新优化。优化算法分为几个步骤： （1）计算目标函数的参数梯度 （2）根据历史参数的梯度计算一阶动量和二阶动量 （3）记录当前时刻的下降梯度 （4）根据下降梯度更新参数值
1、Adam函数 常用默认的优化函数，速度快，
2、GD（梯度下降） 参数优化的基本方法，不足之处：容易出现局部最优，速度变慢等问题
3、SGD（随机梯度下降）+moment 在梯度下降的基础上加以改进，缺点：容易在参数优化的情况下出现抖动的问题，下降速度慢。 加上moment后，在梯度最下方加一个缓冲，可以减少抖动问题，解决局部最优解的问题。
1、增加训练集，是网络的训练更加充分，提取的特征值更多
2、在网络中加正则化，L1正则化用来稀疏矩阵，防止梯度爆炸问题，L2正则化加入了惩罚项，防止过拟合。
3、加入BN层，一般加在激活函数之前，conv-BN-relu-pool，加快收敛速度，提高网络的泛化能力（对新鲜样本的适应能力）
4、调整学习率，样本批次越大，学习率应该越大，在卷积层与全连接层中也可以设置为不同的学习率。
5、在全连接层中加入Dropout层，防止过拟合。卷积层中可不加，如果要加Dropout层，设置的参数要大一些。
RNN网络的代表LSTM网络，大致分为三部分：输入门、遗忘门、输出门。LSTM网络记住重要的信息，遗忘不重要的信息。
图像分割常用网络包括： FCN网络：网络中无全连接层，最后一层为卷积层，将图像还原成像素输出
U-net网络：常用于医疗图像分割，整个网络呈U型，网络结构为编码解码结构，先对图像上采样进行特征提取，再下采样还原像素输出。 （医学图像以DICOM文件格式保存，需要用pydicom包）
LBP，HOG，SIFT等算法（详细介绍见小总结（二））
分类：SVM（线性分类器）
线性回归：最小二乘法
逻辑回归：sigmoid函数
集成： bagging——分类器的并行操作（随机森林） 可以回归或者分类，当回归时，采用各个分类器的平均结果作为最终结果；当分类计算时，采用投票方式得到最终结果。 boosting——弱分类器的串行计算（XGboost） 采用权重来决定最终结果，如果某一分类结果错误，再次训练时会在该分类上增大权重。
聚类——将数据集中相似的样本组合在一起：K-means（无监督学习）
降维：PCA
