一、朴素贝叶斯

1.原理

公式原型： （贝叶斯公式）

求出两个可能性然后进行对比。

#1：事件发生的全局概率（=发生的事件/总事件）

#2：事件发生的局部概率（=局部内发生的事件/局部内总事件--贴近新的样本）

#3：已知事件坐落与数据空间内的概率（=局部内发生的事件/总事件发生的事件）

#4：利用已知数据求得最终概率

Attention：

①先决条件：假定所有事件的概率都是独立的，

②P(X)：在比较的时候可以约掉P(X),但是计算的值将不再是后验概率

③已知组大于两类的情况：将所有后验概率计算出来进行比较

2.Python实现

①使用分类器模板

②创建分类器并拟合

from sklearn.naive_bayes import GaussianNB    --导入朴素贝叶斯分类器
classifier=GaussianNB()    --新建类型
classifier.fit(x_train,y_train)    --拟合

③进行预测并展示图线

pred = classifier.predict(x_test)    --进行预测
    --调用展示模板

 二、决策树

1.原理

类别：分类决策树（按类别划分--分类组之间无序）

回归决策树（连续数据--数据之间有序）

分类决策树原理：对平面进行不断分割（直至所有类被分开）

关键：寻找分割线（目的：提升熵）

流程图：划分决策树的步骤（不一定要完全分割--可以用概率表示）

2.Python实现

①使用分类器模板

②创建和拟合分类器

--由于没有使用欧氏距离，所以不需要特征缩放
from sklearn.tree import DecisionTreeClassifier    --导入库
classifier = DecisionTreeClassifier(criterion = entropy,random_state=0)    
    --参数:基尼系数/熵，随机数
classifier.fit(x_train,y_train)    --拟合

③预测和图线展示

y_pred = classifier.predict(x_test)

错误的分类被称为噪音。过度拟合时会被噪音干扰

 三、随机森林

1.原理

采用多个分类器对数据进行学习，再采用方法（加权/投票）将结果组合

Step1：装袋--随机采用K个训练集的数据，将其装袋

Step2：用装袋的数据，训练分类器

Step3：重复Step1-Step2，直到拥有足够的分类器

Step4：使用这些分类器单独预测，并进行投票

2.Python实现

①套用分类器模板

②创建分类器并拟合

from sklearn.ensemble import RandomForestClassifier    --导入类
classifier = RandomForestClassifier(h_estimators=10,criterion=entropy,random_state=0)
    --估计量（决策树数量），标准（基尼指数/熵）
classifier.fit(x_train,y_train)

③预测和图线输出

y_pred = classifier.predict(x_test)    --预测

对比实际测试结果