本文主要介绍几种经典的卷积神经网络及其结构。
「 1. LeNet-5网络」
LeNet-5是最早成功应用的卷积神经网络模型，其在20世纪90年代被用于支票上面的手写数字识别。LeNet-5网络的结构如表1所示，其总共包含三个卷积层、两个池化层和一个全连接层（图中C代表卷积层，S代表池化层，F代表全连接层）。
表1 LeNet-5网络结构
由于MNIST手写数据集的输入为28*28像素，因此，该数据采用0填充的方式变换为32*32。同时在该网络中的其他层，不在使用其他的填充方式。该网络采用平均池化的方式，并在每个卷积层后面都存在一个池化层。其中C5层的输入为5*5，其卷积大小也为5*5，故可看作为全连接层。输出层采用10个欧式径向基函数（RBF）函数组成，实现对手写字数字的分类。
「 2. VGG网络」
VGG网络（visual geometry group network，也称为VGGNet）是由牛津大学计算机视觉组和Google DeepMind公司一起研究的深度卷积神经网络，并在2014年的ImageNet比赛中定位项目第一名和分类项目第二名。VGGNet使用相同大小的卷积核尺寸（3*3）和最大池化尺寸（2*2），通过不断加深网络结构来提升性能。VGGNet的泛化性能很好，至今仍然广泛用于其他图像识别的任务中。如目标检测、图像分割等领域的很多卷积神经网络均以该网络为基础。
VGGNet网络包含很多级网络。D、E结构也是常用的VGGNet-16和VGGNet-19。VGGNet网络拥有5个卷积块，每个卷积块有多个卷积层构成。在C网络中，还存在1*1的卷积，该卷积主要用于提升变换效果，但由于没有改变卷积深度，所以没有降维。
VGG网络使用了使用Multi-Scale方法做数据增强，通过将图片缩放到不同的尺寸，然后再随机剪裁到224*224的大小，然后取不同尺寸的平均值作为最后结果，提高了图片数据的利用率。
「 3. InceptionV3网络」
Inception V3网络是由Google开发的深度卷积神经网络InceptionNet的第三个版本，InceptionNet的首次亮相是在2014年的ILSVRC比赛中，其以top5的误差6.67%取得了冠军。Inception V3使用大尺寸滤波器卷积分解，其Inception模块是全卷积的，每个权值对应一个乘法运算，进行卷积分解后可以减少参数数目进行快速训练，这样就可以增加滤波器组的大小提升精度。并引入了将大卷积分解成小卷积的方法，例如两个3*3卷积级联起来代替一个 5*5卷积、7×7卷积可以拆成1×7卷积和7×l卷积等。
「 4. ResNet网络」
ResNet是由何凯明等提出的，其以top5误差3.6%的图像识别记录获得2015年ILSVRC比赛冠军。ResNet是革命性的网络，其使用残差单元成功训练出了152层的神经网络结构，使得卷积神经网络真正具有了“深度”。
ResNet的残差模块为解决深度学习中“梯度消失”问题提供了很好的思路。残差模块如图1所示，其通过给非线性卷积层增加直连边（shortcut）的方式以提高信息的传播效率。假定输入为x，期望输出为H(x)，那么此时残差网络需要学习的目标即为F(x)=H(x)-x，因此，残差单元不在是学习完整输出H(x)，而是学习其输出和输入的差值F(x)，即残差。
「 5. DenseNet网络」
DenseNet模型来自于ResNet的改进。不同于残差网络的直连边，DenseNet建立前面所有层与后面所有层的密集连接，进而实现特征的重用。假设对于第l层，其变换可以用下式表示：
式中，Hl()代表当前层非线性变换组合，包括卷积层、池化层、激活函数等。此处需要注意的是，第l层和l-1层之间实际可能包含多个卷积层，如图2所示。
“智造苑”
秉承“先进制造、制造强国”的理念，
清华社为大家提供最好的知识服务！
原文始发于微信公众号（智造苑）：智造讲堂：经典卷积神经网络模型
