智造讲堂:经典卷积神经网络模型

AI 3周前 admin
58 0 0
引自:《深度学习》(作者:文龙, 李新宇)
该书已出版,详细信息请见文末~



本文主要介绍几种经典的卷积神经网络及其结构。

「 1. LeNet-5网络

LeNet-5是最早成功应用的卷积神经网络模型,其在20世纪90年代被用于支票上面的手写数字识别。LeNet-5网络的结构如表1所示,其总共包含三个卷积层、两个池化层和一个全连接层(图中C代表卷积层,S代表池化层,F代表全连接层)。

表1 LeNet-5网络结构

智造讲堂:经典卷积神经网络模型

由于MNIST手写数据集的输入为28*28像素,因此,该数据采用0填充的方式变换为32*32。同时在该网络中的其他层,不在使用其他的填充方式。该网络采用平均池化的方式,并在每个卷积层后面都存在一个池化层。其中C5层的输入为5*5,其卷积大小也为5*5,故可看作为全连接层。输出层采用10个欧式径向基函数(RBF)函数组成,实现对手写字数字的分类。

「 2. VGG网络

VGG网络(visual geometry group network,也称为VGGNet)是由牛津大学计算机视觉组和Google DeepMind公司一起研究的深度卷积神经网络,并在2014年的ImageNet比赛中定位项目第一名和分类项目第二名。VGGNet使用相同大小的卷积核尺寸(3*3)和最大池化尺寸(2*2),通过不断加深网络结构来提升性能。VGGNet的泛化性能很好,至今仍然广泛用于其他图像识别的任务中。如目标检测、图像分割等领域的很多卷积神经网络均以该网络为基础。

VGGNet网络包含很多级网络。DE结构也是常用的VGGNet-16VGGNet-19VGGNet网络拥有5个卷积块,每个卷积块有多个卷积层构成。在C网络中,还存在1*1的卷积,该卷积主要用于提升变换效果,但由于没有改变卷积深度,所以没有降维。

VGG网络使用了使用Multi-Scale方法做数据增强,通过将图片缩放到不同的尺寸,然后再随机剪裁到224*224的大小,然后取不同尺寸的平均值作为最后结果,提高了图片数据的利用率。

「 3. InceptionV3网络

Inception V3网络是由Google开发的深度卷积神经网络InceptionNet的第三个版本,InceptionNet的首次亮相是在2014年的ILSVRC比赛中,其以top5的误差6.67%取得了冠军。Inception V3使用大尺寸滤波器卷积分解,其Inception模块是全卷积的,每个权值对应一个乘法运算,进行卷积分解后可以减少参数数目进行快速训练,这样就可以增加滤波器组的大小提升精度。并引入了将大卷积分解成小卷积的方法,例如两个3*3卷积级联起来代替一个 5*5卷积、7×7卷积可以拆成1×7卷积和7×l卷积等。

「 4. ResNet网络


ResNet是由何凯明等提出的,其以top5误差3.6%的图像识别记录获得2015年ILSVRC比赛冠军。ResNet是革命性的网络,其使用残差单元成功训练出了152层的神经网络结构,使得卷积神经网络真正具有了“深度”。

ResNet的残差模块为解决深度学习中“梯度消失”问题提供了很好的思路。残差模块如图1所示,其通过给非线性卷积层增加直连边(shortcut)的方式以提高信息的传播效率。假定输入为x,期望输出为H(x),那么此时残差网络需要学习的目标即为F(x)=H(x)-x,因此,残差单元不在是学习完整输出H(x),而是学习其输出和输入的差值F(x),即残差。

智造讲堂:经典卷积神经网络模型
图1 ResNet网络中的残差模块结构


「 5. DenseNet网络


DenseNet模型来自于ResNet的改进。不同于残差网络的直连边,DenseNet建立前面所有层与后面所有层的密集连接,进而实现特征的重用。假设对于第l层,其变换可以用下式表示:

智造讲堂:经典卷积神经网络模型

式中,Hl()代表当前层非线性变换组合,包括卷积层、池化层、激活函数等。此处需要注意的是,第l层和l-1层之间实际可能包含多个卷积层,如图2所示。

智造讲堂:经典卷积神经网络模型
图2 DenseNet网络结构





——————————————————————

购买链接

智造讲堂:经典卷积神经网络模型
点击我购买   






智造讲堂:经典卷积神经网络模型
智造讲堂:经典卷积神经网络模型

扫码关注我们

“智造苑”

秉承“先进制造、制造强国”的理念,

清华社为大家提供最好的知识服务!

原文始发于微信公众号(智造苑):智造讲堂:经典卷积神经网络模型

版权声明:admin 发表于 2022年11月7日 上午8:01。
转载请注明:智造讲堂:经典卷积神经网络模型 | CTF导航

相关文章

暂无评论

暂无评论...