[Machine learning][Part4] 线性回归模型技巧
目录
正规方程法
梯度下降法
缩放特征
学习率选择
正规方程法
这种方法可以不多次迭代梯度下降函数就能得到w,b。但是缺点是在大量数据训练情况下效率较低，其次是这种算法仅仅在线性回归中实现了，并没有在其他模型中实现，因此，实际情况下的使用率不高。这里了解有这么个概念即可。
梯度下降法
缩放特征
在多特征的情况下，如果有的特征值的范围特别大，那么这个特征值的权重w的选择对模型的训练影响较大，需要初始值选择较小。例如下面的training data中，size 值比其他三个特征要大很多。
| Size (sqft) | Number of Bedrooms | Number of floors | Age of Home | Price (1000s dollars) |
|---|---|---|---|---|
| 952 | 2 | 1 | 65 | 271.5 |
| 1244 | 3 | 2 | 64 | 232 |
| 1947 | 3 | 2 | 17 | 509.8 |
这里可以把训练数据进行均值归一化处理。
学习率选择
一般是从小到大来尝试。如0.001,0.003,0.01,0.03,0.1 etc这样的情况来尝试。