机器学习---各算法比较

机器学习算法

线性回归

优点：简单；适用于大规模数据集。
缺点：无法处理非线性关系；对异常值敏感。

多项式回归

优点：捕捉特征和目标之间的非线性关系。
缺点：可能会过度拟合数据。

岭回归

优点：解决多重共线性问题；对异常值不敏感。
缺点：不适用于特征选择，所有特征都会被考虑。

Lasso回归

优点：解决多重共线性问题。
缺点：对于高维数据，可能会选择较少的特征。

弹性网络回归

优点：综合了岭回归和Lasso回归的优点；可以应对多重共线性和特征选择。
缺点：需要调整两个正则化参数。

逻辑回归

优点：用于二分类问题，广泛应用于分类任务。
缺点：仅适用于二分类问题；对于复杂的非线性问题效果可能不佳。

决策树回归

优点：能够处理非线性关系。
缺点：容易过拟合；对数据中的噪声敏感；模型不稳定。

Bagging

优点：降低了模型的方差，减少了过拟合风险；适用于大规模数据。
缺点：不适用于处理高度偏斜的类别分布。

随机森林回归

优点：降低了决策树回归的过拟合风险；能够处理高维数据。
缺点：。。。

AdaBoost

优点：能够处理高维数据和大规模特征，对异常值敏感性较低。
缺点：对噪声和异常值敏感。

Gradient Boosting

优点：提供了很高的预测性能，对噪声和异常值相对较稳定。
缺点：需要调整多个超参数。

XGBoost 和 LightGBM

优点：
缺点：

支持向量机

优点：适用于高维数据。
缺点：参数选择敏感。