20241230 机器学习ML -（1）线性回归（scikitlearn）
机器学习ML入门。
线性回归
| ScikitLearn | |||||
| LR | Ridge | Lasso | ElasticNet | ||
| L2：解决共线性问题 (Colinearity Problem) L1：特征选择 | （AI的解释） W=XtX XtY (Xw=Y >> XtXw= XtY) 当 COND(Xtx) ~ infinit, 导致inv(XtX)无解 举例： 12 23 46 XtX=[14,28] [28,56] eigVal=det([14-lamb, 28] 28, 56-lamb）=（14-lamb)(56-lamb) - 28*28 lamb1 = 70 lamb2 = 0 cond(XtX)= 70/0 = infinit | （AI的解释） W=(XtX + lambda E)^-1 XtY 加入L2/L1 后，限制w的大小（方差减少，而可能偏差会加大） >> cond(XtX) 变小，改善数值稳定性 >> coef系数变小，复合直觉。 举例： 12 23 46 alpha 10 01 XtX=[14,28] + alpha [28,56] eigVal=det([15-lamb, 28] 28, 5 | |||