UofT machine learning 个人笔记（一）

机器学习的几个重要的典范

* Regression * Binary Classification * Multiway classification

Regression

Generalization

在使用polynomial regression的时候，我们可以fit出无数个polynomial function, 其中有可能出现underfit和overfit的情况。

underfit. vs. overfit.

对同样一个数据集，我们可以用一次函数fit，也可以使用一个非常复杂的函数fit，那么对于polynomial function究竟使用几次函数比较合适呢？

- 此处的degree（次）是个hyperparameter，参数(parameter)通常是在模型训练的过程中，我们根据训练集数据自动得到的。

超参(hyperparameter)通常是在模型训练前，我们手动设置的，其目的是为了在训练参数的时候让模型的表现更好。

所以一般情况下我们会把数据集分为两部分，一部分为training set, 另一部分是validation set，比较不同的hyperparameter哪一个在validation set 中表现的比较好。

Binary Classification

binary classification中target/t为属于集合1的概率，只可能为(0,1)之前的数，那么如果只用

，

则y的值会与t的意义不同，因此引入logistic regression.

, 那么。

logistics regression可以把y的取值范围划入0到1之间

sigma是一个activation function,以

要fit一个logistics regression，直接使用原来的作为loss function的效果比较差，

所以使用

Multiway Regression

Mutlitway Regression用softmax regression 当做activation function.

softmax函数可以把input array中的每一个与最大可能一一对应。