机器学习模型—XGBoost

机器学习模型—XGBoost

XGBoost(Extreme Gradient Boosting)是由陈天奇等人于2014年提出的一个高效可扩展的梯度提升库。它在梯度提升框架的基础上进行了优化和改进，被广泛应用于机器学习竞赛和实际应用中

作为GBDT(Gradient Boosting Decision Tree)的扩展版本,XGBoost在算法理论和工程实现上都做了大量创新,展现出极致的性能表现,因而受到了机器学习从业者和竞赛选手的广泛追捧。

XGBoost的核心创新

核心算法创新

• 利用二阶近似替代一阶近似,更精准地优化目标函数,提高收敛速度
• 支持并行化加速计算,利用核外线程和多线程优化训练和预测
• 自动捕获特征的交互作用,自动组合低有效维度的特征
• 支持各类缺失值处理策略,避免缺失造成样本浪费

系统层面优化

• 利用数据压缩和列式存储,大幅减小内存开销
• 通过缓存优化,避免多次重复计算
• 支持多种稀疏外存优化,解决大规模数据难题
• 自动并行化近似直方图算法
• 自动负载均衡，提高集群计算效率
• 提供多种高效的缓存优化和内核优化

正则化和优化算法丰富

• L1/L2正则化惩罚,控制过拟合
• 支持带约束的树模型学习
• 提供多种随机采样策略,如列采样、行采样
• 支持交替梯度优化算法

模型可解释性

• 提供SHAP值计算,分析各特征的贡献度
• 自动学习出特征重要性排序
• 支持叶子节点计算样本权重

实用扩展

<