简单介绍以及他们的作用
进行机器学习，必须要准备数据集。一般情况下，所有的数据要求独立同分布（iid）。然后分成三个部分:
- 训练集(Train Set)
- 开发集(Dev Set)
- 测试集(Test Set)
顾名思义，训练集主要用来训练机器学习模型的参数。开发集用来对不同的超级参数进行选择，而且这一过程是个迭代过程，因为事先不知道哪个参数比较适合当前的问题，需要多次尝试。最后，测试集用来验证最终的机器学习系统的性能。
三个集合的比例
在机器学习发展的早期，数据量不是太大，一般几千到几万条数据，这三者的比例大约是：
| Train Set | Dev Set | Test Set |
|---|---|---|
| 60% | 20% | 20% |
而现如今随着互联网的发展，海量数据的获得成为可能，百万级别的数据已经比较平常，所以比例可以这样划分：
| Train Set | Dev Set | Test Set |
|---|---|---|
| 98% | 1% | 1% |
非独立同分布的case
现实工程实践中，有时候训练集和另外两种允许来自不同的分布，通俗的说，就是产生的数据方式不同，但是另外两种数据集，即开发集与测试集必须保持是同分布。