PyTorch -- 最常见损失函数 LOSS 的选择

• 损失函数：度量模型的预测结果与真实值之间的差异；通过最小化 loss -> 最大化模型表现
• 代码实现框架：设有 模型预测值 f (x), 真实值 y
  • 方法一： 步骤 1. criterion = torch.nn.某个Loss()；步骤 2. loss = criterion(f(x), y)
  • 方法二：直接采用 F.某个_loss(f(x), y)

回归损失（Regression Loss）

• 【torch.nn.L1Loss()】平均绝对值误差 MAE（Mean Abs Error）: f (x) 和 y 之间差的绝对值的平均值
  • 具体数学计算公式：$\text{Loss}=\frac{1}{n}{\sum }_{i=0}^n|f(x_i)-y|$
  • 注：L1 损失, 主要用于回归问题和简单的模型，所以很少使用
• 【torch.nn.MSELoss()】平均平方误差 MSE（Mean Squared Error）: f (x) 和 y 之间差的平方的平均值
  • 具体数学计算公式： $\text{Loss}=\frac{1}{n}{\sum }_{i=0}^n(f(x_i)-y{)}^2$： F.mse_loss(f(x), y)
  • 注：L2 损失, 很常用

分类损失（Classification Loss）logistic regression

• 【torch.nn.CrossEntropyLoss()】多分类交叉熵损失函数 Cross Entropy Loss:
  • 具体数学计算公式： $\text{Loss}=\sum y_i\log (f(x_i))$, 注意其中 $f(x_i)$ ​ 表示模型预测出的概率值如 [0.1, 0.7, 0.2]
  • 通常和 softmax (soft version of max $S(y_i)=\frac{e^{y_i}}{\sum e^{y_i}}$: F.softmax(y)) 搭配使用 (softmax 负责产生上述概率输出)

• B站视频参考资料
• 详细博客参考资料