深度学习图像识别笔记（一）：数据集
深度学习图像识别笔记之数据集
训练集、测试集、验证集
训练集：是模型拟合的数据样本，用于调试神经网络。
验证集：是模型训练过程中单独留出的样本集，它可以用于调整模型的超参数和用于对模型的能力进行初步评估，用来查看训练效果。
测试集：用来评估模最终模型的泛化能力。但不能作为调参、选择特征等算法相关的选择的依据。它用来测试网络的实际学习能力。
- 验证集和测试集的区别 验证集和测试集的目的是对机器学习系统做出最重要的调整
验证集(validation set): 查看模型训练的效果是否朝着坏的方向进行。验证集的作用是体现在训练的过程。
举个栗子：通过查看训练集和验证集的损失值随着epoch的变化关系可以看出模型是否过拟合，如果是可以及时停止训练，然后根据情况调整模型结构和超参数，大大节省时间。
测试集(test set): 用来评估模最终模型的泛化能力。但不能作为调参、选择特征等算法相关的选择的依据。测试集的作用是体现在测试的过程。
对原始数据进行三个数据集的划分，也是为了防止模型过拟合。当使用了所有的原始数据去训练模型，得到的结果很可能是该模型最大程度地拟合了原始数据，亦即该模型是为了拟合所有原始数据而存在。当新的样本出现，再使用该模型进行预测，效果可能还不如只使用一部分数据训练的模型。 （链接：https://zhuanlan.zhihu.com/p/113296640）
有一个形象的比喻：
-
训练集-----------学生的课本；学生根据课本里的内容来掌握知识。 验证集-----------作业；通过作业可知道学生学习情况、进步的速度快慢。 测试集-----------考试；考题平常都没有见过，考察学生举一反三的能力。 传统上，一般三者切分的比例是：6：2：2，验证集并不是必须的。 训练集直接参与了模型调参的过程，显然不能用来反映模型真实的能力(防止课本死记硬背的学生拥有最好的成绩，即防止过拟合)。 验证集参与了人工调参(超参数)的过程，也不能用来最终评判一个模型(刷题库的学生不能算是学习好的学生)。所以要通过最终的考试(测试集)来考察一个学(模)生(型)真正的能力(期末考试) 测试集为了具有泛化代表性，往往数据量比较大，所以往往只取测试集的其中一小部分作为训练过程中的验证集。当然有的论文中没有设置验证集也是可以的。 （链接：https://zhuanlan.zhihu.com/p/113296640）
- 为什么要使用测试集
a)训练集直接参与了模型调参的过程，显然不能用来反映模型真实的能力（防止课本死记硬背的学生拥有最好的成绩，即防止过拟合)。
b)验证集参与了人工调参(超参数)的过程，也不能用来最终评判一个模型（刷题库的学生不能算是学习好的学生）。
- 个人疑问 对一个网络进行训练，并得到其识别某类图片的AP,AR,mAP等结果的过程，能只用训练集和验证集吗？二者之间的额比例是怎样的？
问了学长，他说不用测试集也可以，但我还是不太明白。
（解决问题后继续更新）
