机器学习（二）
一,Multiple features(多类特征) 多元线性回归：
1,多类特征的符号表示: (可以类比二维数组)
2,多元线性回归模型:
二,Vectorization（向量化） (简化代码&缩短运行速度)：
-
向量化实现多元线性回归模型：
-
向量化实现多元线性回归的梯度下降:
-
拓展：正规方程(normal equation)求线性回归模型的W和b (调用机器学习库,无需迭代和下降，但是不利于推广，且当n足够大时，速度慢)
三，Feature Scaling（特征缩放）:
-
定义：当不同特征的取值范围相差很大（太大或者太小）时，可通过重新缩放不同的特征，使其取值在可比的范围内（即当数据集的特征值取值范围大时，模型的所对应的参数尽可能的小，反之则尽可能的大），来提高梯度下降的运行速度
-
实现：
（1）法一：除以特征的最大值：
（2）法二：均值归一化：（ 缩放后特征值的取值范围为[-1,1] ）
（3）法三：Z分数归一化：(与法二相似，将普通正态分布转换为标准正态分布)
①分别计算特征X的均值和标准差
②缩放后的X为(X-均值)/标准差
四，判断梯度下降是否收敛：
- 法一：绘制以迭代次数为横坐标，以成本函数J为纵坐标的学习曲线，观察曲线何时趋于平稳
- 法二：规定ɛ(值很小的变量)，若成本函数一次迭代中减少的量小于ɛ，即收敛
五，学习率的选择：（尝试一系列学习率，从而找到最优解） ：
方法：选择一个最小的值（如0.001），绘制学习曲线，后扩大倍数，绘制其学习曲线，不断重复。
0.001 -> 0.003 -> 0.01 -> 0.03 -> 0.1 ->............
直到筛选出最小的学习率，最大的学习率，略小于最大的学习率
六，特征方程：
利用自己的知识和直觉来设计新特征，或通过变换或组合，将原始特征转换为一个更贴近核心问题的特征，从而提高预测的准确性
注：组合后的新特征取值范围可能差别较大，可利用特征缩放进行处理
七，多项式回归：
多项式回归=多元线性回归+特征工程
组合后的数据可能会出现多次方，可以将曲线，非线性函数拟合到数据中，从而提高预测的准确性，这就是多项式回归