一、概率论基本概念

①概率：随机事件发生的可能性大小，介于0-1之间

②随机变量：可能发生的事件，称为X

③概率分布：一个随机变量X取每种可能值的概率（总和为1）

④离散随机变量：

伯努利分布：X为事件A出现的次数，事件A发生的概率为μ，不发生的概率为1-μ

分布公式为：

二项分布：n次伯努利分布中，X表示A出现的次数，

分布公式为： , k=1...,n

⑤连续随机变量：一般采用概率密度函数来描述

高斯分布：

⑥累积分布函数：随机变量X的取值小于等于x的概率

cdf(x) = P(X≤x)

⑦随机向量：一组随机变量构成的向量

联合概率分布：

条件概率：对于离散随机向量(X,Y)，已知X=x时，Y=y的条件概率

⑧采样：给定一个概率分布p(x)，生成满足条件的样本

如何进行采样

1.直接采样：均匀分布->线性同余发生器：

2.间接采样：仅均匀分布能直接采样，其他的都是通过间接采样

⑨期望：随机变量的均值

离散变量：

连续随机变量：

⑩大数定律：样本数量很大的时候，样本均值和真实均值（期望）充分接近

二、机器学习的定义

通过算法使机器从大量数据中学习规律从而对新的样本做决策

 三、机器学习的类型

1.监督学习

包含了回归问题(连续)和分类问题(离散)

2.无监督学习

包含三种方法类聚、降维、密度估计

3.强化学习

通过与环境的交互来进行学习（例如阿尔法狗），属于无监督学习

4.总结

 四、机器学习的要素

机器学习的四要素：数据、模型、学习准则、优化算法

1.模型

2.学习准则

好的模型在所有取值上应与真实映射函数一致

损失函数：非负的实数函数，用以量化模型预测和真实标签之间的差异

以回归问题为例：平方损失函数

期望风险：损失函数在真实数据分布下的期望

由大数定律可知，在N区域无穷时，期望风险可以近似为经验风险

经验风险：由训练数据推算而来

机器学习目的是寻找参数，使得经验风险函数最小化

3.优化算法

机器学习问题通过经验风险转变为一个最优化问题

①导数法：令函数一阶导=0，求极值点

②梯度下降法：是一种迭代算法

搜索步长α也可称为学习率

学习率为一种超参数，需要人工选择。学习率的选择极为重要，不能过大/过小

②-1:随机梯度下降法：在每次迭代时只采集一个样本，当经过足够次数的迭代时，也可以收敛到一个局部最优解。

优点：每次计算开销小，支持在线学习

缺点：无法充分利用计算机的并行算法

②-2：小批量随机梯度下降法：随机选取一小部分训练样本来计算梯度并更新参数

五、泛化和正则化

机器学习拟合中可能出现的问题：欠拟合、过拟合

机器学习≠优化（期望风险≠经验风险）

1.泛化误差

(期望风险和经验风险的差值)

2.正则化

降低模型复杂度以减少泛化误差

所有损害优化的方法

如：增加约束（L1/L2优化、数据增强）

干扰优化过程（权重衰减、随机梯度下降、提前停止）

提前停止：使用一个验证集，每次迭代后使用参数在验证集上进行测试，如错误率不再下降则停止迭代