模型调参及优化
调参
-
调权重参数，偏置参数
训练数据集用来训练参数w，b
-
调超参数
验证数据集用来选择超参数学习率lr，隐藏层大小等
-
如何调参
当泛化误差和训练误差都没有降下去说明欠拟合；当训练误差降下去，但泛化误差出现上升形式，说明过拟合
优化
-
权重衰退
在过拟合时，可以使用权重衰退，每次更新参数W_t+1时都会先将W_t减小，梯度计算如下
参数更新如下
使用torch框架可以简洁实现权重衰退，wd就是上述的ʎ：
-
丢弃法
丢弃法相当于在输入中加入噪音，且输入的期望（期望是所有元素出现概率乘以元素值值之和）不变，公式如下
在过拟合时可以使用丢弃法，常用于多层感知机的隐藏层输出，将输出的某些元素随机设为0，剩下元素放大，丢失法通常在每层的激活函数之后使用，丢弃法和权重衰退都是正则项，用于权重的变化，所以只在训练中使用，不用于测试。丢弃法是多层感知机中主流的一种正则化方法，高复杂模型+丢弃法效果一般比低复杂模型效果好一些。torch的简洁实现如下