三 动手学深度学习v2 —— Softmax回归+损失函数+图片分类数据集
三 动手学深度学习v2 —— Softmax回归+损失函数+图片分类数据集
目录:
- softmax回归
- 损失函数
1. softmax回归
回归vs分类:
- 回归估计一个连续值
- 分类预测一个离散类别
从回归到多类分类
回归
- 单连续数值输出
- 自然区间R
- 跟真实值的误差作为损失
分类
- 通常多个输出
- 输出i是预测为第i类的置信度
总结：
2. 损失函数
- L2 loss 均方损失
l ( y , y ′ ) = 1 2 ( y − y ′ ) 2 l(y, y') = \frac{1}{2}(y-y')^2 l(y,y′)=21(y−y′)2 - L1 loss 绝对值损失函数
l ( y , y ′ ) = ∣ y − y ′ ∣ l(y, y') = |y-y'| l(y,y′)=∣y−y′∣
0点处不可导，不平滑 - Huber’s Robust Loss
l ( y , y ′ ) { ∣ y − y ′ ∣ − 1 2 , i f ∣ y − y ′ ∣ > 1 1 2 ( y − y ′ ) 2 , o t h e r w i s e l(y,y') \begin{cases} |y-y'|- \cfrac12, & if & |y-y'|>1 \\ \cfrac 12(y-y')^2,& otherwise \end{cases} l(y,y′)⎩ ⎨ ⎧∣y−y′∣−21,21(y−y′)2,ifotherwise∣y−y′∣>1
3. softmax回归从零开始实现