模型评估与选择
2.1 经验误差与过拟合
错误率（error rate）： 分类错误的样本数占样本总数的比例
精度（accuracy）：1- 错误率
训练误差 / 经验误差：在训练集上的误差
泛化误差：在新样本上的误差
过拟合
欠拟合
2.2 评估方法
测试集：测试学习器对新样本的判别能力，以测试集上的“测试误差”作为泛化误差的近似
对数据集进行适当的处理，拆分成训练集和测试集，常用的处理方法：
2.2.1 留出法
直接将数据集划分为两个互斥的集合
2.2.2 交叉验证法
将数据集划分为k个大小相似的互斥子集。每次用k-1个子集的并集作为训练集，余下的子集作为测试集合，得到k组训练/测试集，从而进行k次训练和测试，最终返回这k个测试结果的均值。
2.2.4 调参与最终模型
2.3 性能度量
性能度量：衡量模型泛化能力的评价标准
2.3.1 错误率与精度
分类任务中最常用的两种性能度量：错误率，精度
错误率：分类错误的样本数占样本总数的比例
精度：分类正确的样本数占样本总数的比例
2.3.2 查准率，查全率与F1
“查准率” （精确率 precision）
“查全率”（召回率 recall）
对于二分类问题，可以将样例根据其真实类别与学习器预测类别的组合划分为：
- 真正例（true positive）：正例里面被预测为正例
- 假正例（false positive）：反例里面被预测为正例
- 真反例（true negative）：反例里面被预测为反例
- 假反例（false negative）：正例里面被预测为反例
令 TP，FP，TN，FN 分别表示其对应的样例数，则有
精确率与召回率 的定义如下：
“平衡点”（Break-Event Point）：精确率 == 召回率时的取值
但是 BEP 过于简化，更常用的是F1度量：
2.3.3 ROC 与 AUC
与P-R曲线类似，我们根据学习器的预测结果对样例进行排序，按此顺序逐个把样本作为正例进行预测，每次计算出两个重要量的值，分别作为横、纵坐标做图。
ROC曲线的的横轴为：假正例率 FP
ROC曲线的的纵轴为：真正例率 TP
2.3.4 代价敏感错误率与代价曲线
代价敏感错误率
不同类型的错误所造成的后果或者代价是不同的，代价敏感错误率是基于非均等代价的。二分类代价矩阵：costij表示将第i类样本预测为第j类样本的代价。一般说来，costii=0；若将第0类判别为第1类所造成的损失更大，则cost01> cost10；在非均等错误代价下，我们希望的是最小化“总体代价”，这样“代价敏感”的错误率为：
2.4 比较检验
使用某种实验评估方法测得学习器的某个性能度量结果，然后对这些结果进行比较。
是直接取得性能度量的值比“大小”吗？
实际上比较复杂，涉及到几个重要因素：
- 希望比较的是泛化能力。然而获得的是测试集上的性能，测试集也是样本，可能包括的不全；
- 测试集上的性能与测试集本身的选择有很大关系，且不论使用不同大小的测试集会得到不同的结果，（即使使用相同大小的测试集，若包含的测试样例不同，测试结果也会有不同）
- 机器学习算法本身具有一定的随机性，即便使用相同的参数设置在同一个测试集上多次运行，其结果也会有不同。