人工智能基础_机器学习026_L1正则化_套索回归权重衰减梯度下降公式_原理解读---人工智能工作笔记0066
然后我们继续来看套索回归,也就是线性回归,加上了一个L1正则化对吧,然后我们看这里
L1正则化的公式是第二个,然后第一个是原来的线性回归,然后
最后一行紫色的,是J= J0+L1 对吧,其实就是上面两个公式加起来
然后我们再去看绿色的
第一行,其实就是原来线性回归的梯度下降公式,这里的n 表示学习率,也是步幅对吧
然后第二行是加上了L1正则的,梯度下降公式
然后我们把加上了L1的梯度下降公式,进行展开,可以看到上面
绿色的部分公式:
第一行是 线性回归梯度下降公式
第二行是 添加了L1的套索回归梯度下降公式
第三行是 是线性回归的导数,其实就是对
这一部分求导
然后我们再看对于L1求导来说,是
我们知道L1是 |w1|+|w2| = L1 是绝对值不可以求导那么就要去掉绝对值
然后进行分段求导,分段求导,其实就是