损失函数和调度器相关类代码回顾理解 |nn.CrossEntropyLoss\CosineAnnealingLR

目录

nn.CrossEntropyLoss

CosineAnnealingLR

nn.CrossEntropyLoss

loss_func = nn.CrossEntropyLoss(reduction="sum")

定义nn.CrossEntropyLoss交叉熵损失函数，reduction参数设置为"sum"，表示将所有样本的损失相加。reduction 参数用于指定如何对损失进行归约，有三个可能的值："none"、"mean" 和 "sum"。选择=“sum”，即输出损失将被求和。由于分批处理数据，因此将返回每批数据的损失值之和。

CosineAnnealingLR

lr_scheduler = CosineAnnealingLR(opt,T_max=2,eta_min=1e-5)

创建学习率调度器，T_max表示周期长度，eta_min表示最小学习率。该调度器基于cosine annealing schedule余弦退火方法来调整学习率。余弦退火学习率调整策略是一种常用的学习率调整策略，它会在训练过程中逐渐减小学习率，直到达到一个最小值。这里的学习率将从优化器设定值lr=1e-4开始，逐渐向最小值eta_min=1e-5减小，并在2*T_max=4次迭代中返回到原始设定值。