IT教程 ·

CNN目的检测系列算法生长头绪——进修笔记(一):AlexNet

Flutter Widgets 之 FutureBuilder

在征询了先生的发起后,近来入手下手动手深切的进修一下目标检测算法,连系这两天所查到的材料和个人的明白,预备大抵将CNN目标检测的生长头绪理一理(临时只讲CNN系列部份,YOLO和SSD,背面会抽闲整顿)。

  目标检测的生长大抵起始于2000年前后(细致我也没去穷究,假如有误还请大佬们斧正 ●ˇ∀ˇ● ),初期受限于算力,目标检测生长的不温不火,直到半导体手艺的提高,以及Hinton团队的模范作用,图象的目标检测才入手下手有了突飞猛进的生长。

  就我个人明白,从2012年至今的目标检测的生长,并没有在算法上呈现出实质性的打破,更多的是将前人已提出的算法/技能,举行了奇妙的组合与优化,然后在高速装备上举行疾速的考证与迭代,才有了目标检测如今繁华的生长近况。(固然,也大概是由于小弟对学术界的生长所知甚少,而致使了一种以偏概全的明白emm。。。)

  接下来的几篇博客会依据 AlexNet --> R-CNN -->FastRCNN -->FasterRCNN --> MaskRCNN 的次序来整顿,本日的内容是ALexNet,由于我的目标在于简析目标检测生长头绪,把握算法的革新线路,所以不会迥殊细致的解说算法道理(好吧,我就是懒的写怎样滴~( ̄▽ ̄)~*),只挑与“革新/生长”相干的部份内容简析,以作为我对目标检测范畴的综述性进修笔记。

AlexNet

 说起AlexNet,置信人人肯定不生疏,在2012年一举夺得了ImageNet和ILSVRC比赛双冠,并且在ILSVRC中的top-5测试的error rate为15.3%, 远远甩开第二名的26.2%(此处应有掌声,啪啪啪~(* ̄3 ̄)╭),云云压倒性上风的成功给工业界带来了不小的打击,同时也使得深度神经收集再次进入业界的视线。

由于本文是以综述为主,所以就不细致讲架构了,感兴趣的能够网上搜刮一下,许多大佬们解说的都很到位,这里重要提一下该模子的特性/革新。

子曾曰过:“没图说个xx”。。。所以这里先上图,以下就是AlexNet的收集架构

 

CNN目的检测系列算法生长头绪——进修笔记(一):AlexNet IT教程 第1张

 

  连系对论文的浏览,小弟总结了该模子的四个重要特性:

  (一)该模子在全衔接层运用了Dropout举行正则化

  我在查材料时发明网上有人说Dropout是Hinton在2014年提出的理论,但实际上在2012年的AlexNet中就已用到了该手艺。

  当时提出该要领的原由就在于,AlexNet在输出层运用了两个的Dense层,剖析以下。

  依据上面的模子图,第六层采用了(6*6*256)的Filter,在不斟酌卷积和线性回归偏置值的情况下,末了两个Dense层的参数的数目 = 4096*4096+6*6*256*4096,大抵为5400万个参数,而论文中提到过,全部模子的参数目在6000万作用,也就是说,末了两个Dense层的参数占全部模子参数目的90%以上,因而只要对这两层的参数目加以限定,就可以够大大下降全部模子的复杂度,从而下降过拟合,同时也提高了练习速率。而Hinton对参数目的限定手腕,就是Dropout,现如今,该要领也成为当前深度进修范畴的常客。

  (二)运用ReLU作为激活函数

  在Hinton之前,经常使用的激活函数是tanh或许sigmoid(以下图),然则两者在BP神经收集层数较深时,会发生梯度消逝的征象,而运用ReLU则能够有用的防止此问题(实际上ReLU也有大概会涌现梯度消逝,但比较少见)。话说回来,ReLU还能够处理梯度爆炸问题,可谓激活函数中的圆满女神有木有(咳咳,由于小弟是男生,所以ReLU是女神嘿嘿~)。

CNN目的检测系列算法生长头绪——进修笔记(一):AlexNet IT教程 第2张

(三)部分相应归一化(LRN)

  底本想好好夸一夸LRN,然则我在查阅了材料后发明这玩艺儿的作用极为有限,很鸡肋,如今人人基础都用BN,然则原论文里内里为LRN零丁划出一节,强调了其能够下降错误率(难道Hinton大佬为了水论文的字数???狗头保命),所以这里轻微提一嘴,就不细说了。

 

(四)堆叠池化

  相较于LeNet中的非堆叠池化,AlexNet中运用了部份堆叠的池化操纵,在肯定程度上下降了模子过拟合的大概。

  关于堆叠池化,我的明白是,堆叠池化后的特性图的相邻元素之间具有肯定的关联性,由于相邻元素与该元素的感觉野有堆叠,所以能够防止对某一特定地区的过拟合(小弟鄙见,假如大佬们有更适宜的诠释,还请在批评里给出)。

 

AlexNet小结:R-CNN的基石,叫醒DNN的跨世纪模子,21世纪深度进修高潮的导火索,个中的一些Trick给了后来者带来了诸多启示。

 

PS:本文说起的一些观点,如正则化、梯度爆炸、BN、过拟合等等,是一些深度进修范畴的罕见名词,怕显得烦琐,所以这里就不作诠释了(明显是由于懒~)

PPS:实在小弟底本的设计是,从AlexNet到MaskR-CNN的内容作为一篇综述写完,然则发明本身太懒了。。。从上面“精简”的笔墨里就可以看出来。。。所以强行把标题改成了“AlexNet”哈哈哈哈  →_→,背面的内容抽闲逐步补上吧( ̄︶ ̄)↗ 

ResNet详解与分析

参与评论