人工智能发展史——卷积神经网络

1、卷积神经网络发展史（convolutional neural networks,CNN)

CNN是针对图像领域任务提出的神经网络，经历数代人的发展，在2012年之后大部分图像任务被CNN统治，例如图像分类，图像分割，目标检测，图像检索等 CNN结构受视觉系统启发 1962年，生物学家TorstenWiesel 和 David H.Hubel(1981年的诺贝尔医学奖)对猫的视觉系统进行研究,首次发现猫的视觉系统中存在层级机构,并且发现了两种重要的细胞 simple cells和complexcells，不同类型细胞承担不同抽象层次的视觉感知功能。

猫的视觉系统实验

1.在猫脑上打开3mm，插入电极 2.让猫看各种形状、位置、亮度和运动的光条 3.观察大脑视觉神经元激活情况

1．神经元存在局部感受区域(receptive field)，也称感受野

2.细胞对角度有选择性

3、细胞对运动方向有选择性

对CNN启发 (1）视觉系统是分层、分级的进行处理，从低级到高级的抽象过程→堆叠使用卷积和池化 (2）神经元实际上是存在局部的感受区域的，具体说来，它们是局部敏感→神经元局部连接

第一个卷积神经网络雏形：

1980年，日本学者福岛邦彦(KunihikoFukushima）借鉴猫视觉系统实验结论，提出具有层级结构的神经网络――新认知机,堆叠使用类似于S细胞和C细胞的两个结构。S细胞和C细胞可类比现代CNN的卷积和池化 缺点:没有反向传播算法更新权值,模型性能有限。

第一个大规模商用卷积神经网络―-Lenet- 5

1989年，Lecun等人已开始研究Lenet，1998年,Lecun等人提出Lenet-5，并成功在美国邮政系统中大规模应用于手写邮政编码识别 缺点:无大量数据和高性能计算资源。

第一个技惊四座的卷积神经网络―—AlexNet

2012年,Alex Net以超出第二名10.9个百分点的成绩夺得ILSVRC分类任务冠军,从此拉开卷积神经网络统治图像领域序幕。

2、卷积层

图像识别特点：

特征具有局部性:老虎重要特征“王字”仅出现在头部区域 特征可能出现的任何位置 下采样图像不会改变图像目标 原因： 卷积核每次连接K * K区域 通过局部连接会大大减少数据量。 卷积核通过在特征图中进行滑动，卷积核参数重复利用，参数共享 卷积核:具可学习参数的算子，用于对输入图像进行特征提取，输出通常称为特征图（feature maps) 其他详细讲解见