ImageNet Classification with Deep Convolutional Neural Networks 论文解读

qlmx
qlmx
qlmx
54
文章
2
评论
2020年2月8日22:53:06 评论 1,244阅读2分51秒

ImageNet Classification with Deep Convolutional Neural Networks 论文解读

论文地址:https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf

一 背景

  • 该网络是在2012年的ILSVRC(ImageNet Large Scale Visual Recognition Challenge)的冠军,得到了top-1 37.5%, top-5 17.0%的错误率,包含5个卷积层(某些卷积层后面带有池化层)和3个全连接层(注:在ImageNet上,按照惯例报告两个错误率:top-1和top-5,top-5错误率是指测试图像的正确标签不在模型认为的五个最可能的便签之中)。
  • 数据量小的图像数据集有很多缺点,需要有巨大的数据集,才能建立一个比较鲁棒的模型。大数据集又带来一个新的问题,层次相似的标准前馈神经网络有很多参数,引入CNNs网络,有更少的连接和参数,更容易训练。
  • 为了训练神经网络,采用CPU加速。

二 数据

  • ImageNet数据集有超过1500万的标注高分辨率图像,这些图像属于大约22000个类别。
  • 对原始图像进行缩放到256*256
  • 在训练数据集上,只对原始像素减去平均活跃度

三 架构

  • 5个卷积层和3个全连接层,激活函数采用ReLU非线性激活函数,其中采用ReLU激活函数主要是为了提高运算速度
  • 网络结构如下,采用多GPU训练

ImageNet Classification with Deep Convolutional Neural Networks 论文解读

  • ReLU函数不需输入归一化防止过拟合,在图中的第1, 2卷积层之后添加响应归一化
  • 采用重叠池化,降低误差率。池化层的卷积核z,每次核的移动步长为s,s=z即是传统的局部池化,这里采用的是s<z,会有部分重叠。

四 减少过拟合

  • 数据增强

    • 图像变换和水平旋转:取相对原图更小的图像块,分别取自四个角和中心的图像快训练,在softmax层进行平均
    • 改变RGB通道的强度
  • 引入dropout层

五 结果

ILSVRC-2012验证集和测试集的误差对比。

ImageNet Classification with Deep Convolutional Neural Networks 论文解读

继续阅读
  • 我的微信小程序
  • 这是我的微信小程序扫一扫
  • weinxin
  • 我的微信公众号
  • 我的微信公众号扫一扫
  • weinxin
qlmx
  • 本文由 发表于 2020年2月8日22:53:06
  • 除非特殊声明,本站文章均为原创,转载请务必保留本文链接
CRNN翻译 深度学习

CRNN翻译

摘要 ​ 基于图像的序列识别一直是计算机视觉中长期存在的研究课题。在本文中,我们研究了场景文本识别的问题,这是基于图像的序列识别中最重要和最具挑战性的任务之一。提出了一种整合 特征提取,序列建模和转录...
VGG论文阅读 深度学习

VGG论文阅读

1.概述 比较老的阅读论文记录,整理发布一下 采用16-19层的结构,同时使用的是3x3的filter 相对原始网络,效果大幅度提升 主要使用在location和classfication 主要采用的...
推荐系统工业界召回论文调研 深度学习

推荐系统工业界召回论文调研

1. 2020_KDD_ComiRec 论文综述:主要是应用于召回,是序列化推荐的解决方案。提出一个新的序列化推荐模块-ComiRec 解决问题: 聚焦匹配问题,提升召回的性能,也就是候选物的精度 解...
匿名

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: