二分类模型的性能评价指标
1. 混淆矩阵 (Confusion Matrix)
| 预测正类 | 预测负类 | |
|---|---|---|
| 实际正类 (P) | True Positive (TP) | False Negative (FN) |
| 实际负类 (N) | False Positive (FP) | True Negative (TN) |
- True Positive (TP): 模型正确预测为正类的样本数。
- True Negative (TN): 模型正确预测为负类的样本数。
- False Positive (FP): 模型错误预测为正类的负类样本数（“假阳性”）。
- False Negative (FN): 模型错误预测为负类的正类样本数（“假阴性”）。
2. 常见评价指标
(1) 准确率 (Accuracy)
准确率是模型整体预测正确的比例：
- 适用场景: 类别平衡时适用。
- 局限性: 不适用于类别不平衡的问题。例如，若正类样本占比 99%，即使模型始终预测为正类，准确率也会很高，但模型实际效果差。
(2) 精确率 (Precision)
精确率衡量模型预测为正类的样本中，实际为正类的比例：
- 适用场景: 注重 假阳性成本较高 的问题（如垃圾邮件分类，误报可能会打扰用户）。
- 局限性: 忽略了 FN 的影响，无法全面衡量模型性能。
(3) 召回率 (Recall) / 灵敏度 (Sensitivity) / 真阳性率 (True Positive Rate, TPR)
召回率衡量实际正类样本中，模型正确预测为正类的比例：
- 适用场景: 注重 假阴性成本较高 的问题（如疾病诊断，漏诊可能带来严重后果）。
- 局限性: 忽略了 FP 的影响。
(4) 特异性 (Specificity) / 真负率 (True Negative Rate, TNR)
特异性衡量实际负类样本中，模型正确预测为负类的比例：
- 适用场景: 注重负类预测准确性的场景（如安全监控中避免误报）。
(5) F1 分数 (F1-Score)
F1 分数是精确率和召回率的调和平均值，用于平衡两者：
- 适用场景: 精确率和召回率同样重要时。
- 局限性: 无法区分精确率和召回率哪个更重要。
(6) 平均准确率 (Balanced Accuracy)
平衡准确率是正类和负类的平均识别率：
- 适用场景: 适合类别不平衡数据。
(7) ROC 曲线和 AUC 值
- ROC 曲线: 以 假阳性率 (FPR) 为横轴，真阳性率 (TPR) 为纵轴绘制的曲线。
- AUC (Area Under the Curve): ROC 曲线下的面积，用于衡量分类器区分正负类的能力。
- AUC 越接近 1，分类器性能越好。
(8) PR 曲线和 AUC 值
- PR 曲线: 以 召回率 (Recall) 为横轴，精确率 (Precision) 为纵轴绘制的曲线。
- PR-AUC: PR 曲线下的面积，适合不平衡数据集。