6 集成学习及Python实现
1 主要思想
集成学习: 三个臭裨将, 顶个诸葛亮
- Bagging: 数据随机重抽样, 并行构建分类器, 投票；
- Boosting: 关注被错分的样本, 串行构建分类器, 加权投票。
2 理论
AdaBoost (Adaptive Boosting)示意图1
错误率:
ε=EN\varepsilon = \frac{E}{N}ε=NE
其中NNN为实例数量, EEE为错分数量
样本权重:
α=12ln(1−εε)\alpha = \frac{1}{2} \ln (\frac{1 - \varepsilon}{\varepsilon})α=21ln(ε1−ε)
正确分类样本权重:
Dit+1=Dite−α∑DD_i^{t + 1} = \frac{D_i^t e^{-\alpha}}{\sum D}Dit+1=∑DDite−α
错误分类样本权重:
Dit+1=Diteα∑DD_i^{t + 1} = \frac{D_i^t e^{\alpha}}{\sum D}Dit+1=∑DDiteα