网络不断发展趋势：

深度化模块化注意力机制高效化自动化

 

深度化：

LeNet:

1989约六万个参数手写数字识别卷积+池化+卷积+池化+全连接+高斯镜像连接意义：奠定了 卷积+池化+全连接的结构

 

AlexNet:

20128层网络结构，约6000万参数ImageNet图像分类网络冠军意义：第一个深层网络+Dropout+Relu(提高收敛速度)+最大池化+BatchNormalization当时受计算能力限制，在两块GPU上并行，网络最后才交互。但是研究者们在此基础上提出组卷积概念。

 

VGGNet:

2015VGG16约1.4亿个参数多层3×3小filter可以达到大filter的效果， 并且可以减少参数数量意义： 小卷积核+深度网络 的思想。    相同的感受野，更小的计算量。限制：因为深度，网络参数太多

 

 

ResNet:

2015意义：解决梯度消失|爆炸问题+保证网络深度

 

 

 

DenseNet:

2017使用跨层连接以前馈的方式使网络的每一层都连接到更深的所有层中和ResNet不同，之前是相加，这里是直接进行连接，可以显式区分不同网络深度的信息

 

模块化

GoogLeNet（InceptionV1,2）:

2014模块化split+transforn+mergeInception模块： split: 将网络拆分成若干个路径transform: 1×1,3×3,5×5卷积，3×3池化merge: 融合起来，传到下一个 在模块中封装不同大小的卷积核提取不同尺度信息（第二个）在大卷积层前引入了1×1卷积，作为瓶颈层减小了参数的计算量。

InceptionV3

2016改进：将5×5的卷积换成3×3，网络具有相同的感受野， 但是运算量更小改进：将3×3的卷积换成1×1，然后又有串联和并联的结构

 

 

Inception-ResNet:

2016在Inception的基础上引入残差的连接

 

ResNeXt:

2017concatenate：分成更多的并联路径，虽然增加了计算量，但是性能有提升

Xception:

2017认为是极端的Inception的结构1×1卷积：解偶空间特征相关性的方法，降低通道数，提高网络效率然后，对处理后的特征映射进行k次变换，k次transform再然后，在特征空间上分别对每个特征空间都进行卷积，提升下率最后，连接起来，作为一个新的特征映射喂给下一层

 

注意力机制：

SENet：通道注意力

2018将每一个通道赋予权重： squeeze:  将原来的每一个通道挤压成标量extract：重新调整通道的统计信息，可以看作原来通道的权重

cSE, sSE, scSE: 空间注意力

2018a:  通道b:  通道改良c:  空间d:  空间+通道

CBAM

2018串行：通道注意力+空间注意力作者实验表明： 串行可以节省网络参数数量，并且性能也不会下降太多

 

高效化：

主流方法：对卷积层设计特殊结构减少参数数量

 

SqueezeNet:

2016fire模块： squeeze: 用较小的参数数量进行对特征的压缩 1×1卷积：用较小的参数数量进行对特征的压缩 expand: 1×1卷积+3×3卷积：进行对特征扩容多个较小的卷积核实现了AlexNet网络的精度，但是参数数量只有AlexNet的1/510

 

MobileNet:

2017引入深度可分离卷积：先分解成通道的卷积，再分解成空间的卷积 通道卷积：分别对每一个通道，用一个卷积核，进行逐通道的运算（原来的输入有多少个通道就有多少个卷积核）空间卷积：？？？？像素极大地减少了参数数量，并且一定程度上保证模型性能

ShuffleNet:

2017组卷积： 将图像的特征通道进行分组，在组内进行卷积在某些层数中，将不同通道信息连接起来分组：操作减少参数量Shuffle: 在组内某层中，打乱了通道实现了组间的交互shuffle: 保证信息的流动

GhostNet:

传统卷积特征映射之间是十分类似，能否通过线性变换将特征结合起来 较少卷积得到特征图像通过廉价线性变换得到新的特征映射将原来的和总的加起来，得到总的特征映射这种方法虽然十分廉价，但是能在一定基础上保证网络的性能

 

自动化：

网络有许多超参数需要优化网络结构需要设计

NASNet:

2018强化学习的方法 先在小的数据集上学习基本的网络的模块再将这些模块迁移到小的，更自然的数据集上模块： Normal 模块： 约束条件：输入尺度和输出尺度保持一致Reduction模块： 约束条件：输出尺寸是输入尺寸的一半搜索： 在约束的基础上，网络进行空间搜索在空间搜索中预先设定一些基本的操作，不同程度的： 卷积池化conver卷积深度可分离卷积......通过网络自动组合这些操作，形成一个最优的拓扑结构这样的搜索成本非常高，论文中提到它搜索使用了500块GPU

EfficientNet:

2019兼顾速度与精度的模型缩放的方法baseline: 基准模式+控制不同尺度： 深度：网络层数宽度：网络每一层通道数量特征分辨率：网络特征映射每层的尺寸对以上三个指标进行等比例的缩放，寻找合适搭配，形成最后的模块，作为网络结构

 

 

卷积网络中需要人工设定的参数+ZFNet：

2013卷积网络的层数卷积核大小卷积步长，卷积填充

ZFNet表明特征可视化可以调整网络参数，提升性能

 

 

 

 

 

参考视频：https://www.bilibili.com/video/BV1E54y1B7Ub?from=search&seid=1981385157587163593