FP32、BF16、FP16三种方式比较
FP32 数字兼具良好的精度和范围,但占用空间较大。老式的 FP16 数字精度不错,占用空间仅为前者的一半,但其代价是范围较差。而领域内的新成员 BF16 数字,则在精度上做出些许牺牲 ,以换取更优的范围。
fp16_info = torch.finfo(torch.float16)bf16_info = torch.finfo(torch.bfloat16)
print(bf16_info)
print
FP32 数字兼具良好的精度和范围,但占用空间较大。老式的 FP16 数字精度不错,占用空间仅为前者的一半,但其代价是范围较差。而领域内的新成员 BF16 数字,则在精度上做出些许牺牲 ,以换取更优的范围。
fp16_info = torch.finfo(torch.float16)bf16_info = torch.finfo(torch.bfloat16)
print(bf16_info)
print