Paddle深度学习笔记（一）

1.神经网络的重要概念：神经元、多层连接、前向计算、计算图 2.构建神经网络模型三要素（模型假设、评价函数和优化算法） 3.对于预测问题，可以根据预测输出的类型是连续的实数值，还是离散的标签，区分为回归任务和分类任务。 4.构建神经网络的关键步骤是啥？见下图

5.为啥要对数据集划分为训练集和测试集？跟考试一个道理，平时的试卷是训练集，正式考卷是测试集，不可能直接拿正式考试的试卷给你做吧，那不是作弊了？机器学习系统的本质，是通过已有数据（训练集）的学习训练，去预测未知的数据（测试集）。

6.为啥要对数据归一化处理？其一是因为一个数据样本是分为很多特征的，梯度更新的时候是对多个特征同时更新，如果各特征量纲相差很大，就导致有的特征更新慢，有的特征更新快，严重影响训练速度；其二是因为数据归一化后，特征的权重就真正代表某个特征对模型的影响，而不是受其本身数据量纲影响，这样调整参数的时候目标就会很明确。

7.为啥大多数机器学习模型普遍为深度学习模型所替代？线性回归其实本质上就是一种简单的神经网络，深度学习是一种多层的神经网络，并且加上了非线性能力，理论上可以拟合任意函数（包括线性的和非线性的），再加上如今数据量庞大，深度学习模型的效果是毫无争议的超过传统机器学习模型的。

8.模型设计（网络结构设计）为啥是深度学习模型关键要素之一？ 其实就像做物理实验一样，不可能漫无目的做，不然要搜索的范围太大了。为了缓解问题的复杂度，就是先做出假设，减少搜索范围，模型设计就是在整个假设空间中画出一部分区域，假设这个区域的函数是能拟合我的问题的，这是关键的一步。深度学习的模型设计本质上就是假设神经网络有多少层，每层有多少神经元，层与层之间是如何连接的？

9.损失函数（评价函数）为啥是深度学习模型关键要素之一？ 深度学习目的是为了找到一个函数，能够较好的拟合已有的数据和没有见过的数据。如何评价效果好不好？肯定是要有个标准的，不可能拍脑袋，这个损失函数就是那个评估标准，这也体现了深度学习实验的科学性与客观性，所以能大工业应用。回归问题损失函数一般是均方差，分类问题一般是交叉熵。

10.优化算法为啥是深度学习模型关键要素之一？ 优化算法是指普通梯度下降法及众多变种。为啥优化算法重要呢，还是从成本上考虑的，如果不通过优化算法，参数的求解可能要直接求导，但是神经网络的模型是很复杂的，一层连着一层，每一层都有参数，如果直接求导，计算复杂度是很高的，所以引入了优化迭代算法，逐步找到参数的解。

https://www.paddlepaddle.org.cn/tutorials/projectdetail/3896362