ImageNet Classification with Deep Convolutional Neural Networks 论文解读

ImageNet Classification with Deep Convolutional Neural Networks 论文解读

论文地址：https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf

一 背景

• 该网络是在2012年的ILSVRC(ImageNet Large Scale Visual Recognition Challenge)的冠军，得到了top-1 37.5%, top-5 17.0%的错误率，包含5个卷积层（某些卷积层后面带有池化层）和3个全连接层（注：在ImageNet上，按照惯例报告两个错误率：top-1和top-5，top-5错误率是指测试图像的正确标签不在模型认为的五个最可能的便签之中）。
• 数据量小的图像数据集有很多缺点，需要有巨大的数据集，才能建立一个比较鲁棒的模型。大数据集又带来一个新的问题，层次相似的标准前馈神经网络有很多参数，引入CNNs网络，有更少的连接和参数，更容易训练。
• 为了训练神经网络，采用CPU加速。

二 数据

• ImageNet数据集有超过1500万的标注高分辨率图像，这些图像属于大约22000个类别。
• 对原始图像进行缩放到256*256
• 在训练数据集上，只对原始像素减去平均活跃度

三 架构

• 5个卷积层和3个全连接层，激活函数采用ReLU非线性激活函数，其中采用ReLU激活函数主要是为了提高运算速度
• 网络结构如下，采用多GPU训练

• ReLU函数不需输入归一化防止过拟合，在图中的第1， 2卷积层之后添加响应归一化
• 采用重叠池化，降低误差率。池化层的卷积核z，每次核的移动步长为s,s=z即是传统的局部池化，这里采用的是s<z，会有部分重叠。

四 减少过拟合

• 数据增强

• • 图像变换和水平旋转：取相对原图更小的图像块，分别取自四个角和中心的图像快训练，在softmax层进行平均
  • 改变RGB通道的强度

• 引入dropout层

五 结果

ILSVRC-2012验证集和测试集的误差对比。