当前位置: 首页 > news >正文

Decimal要从str转换以避免精度问题

最近遇到一个python的小数的问题,本来应该很简单的小于判断,无论如何都不正确,而且浮点小数都没问题,但decimal小数有问题,给我整蒙了,后来才发现是对decimal不了解所致,如果你还用float转decimal求解精确结果,那你一定要看看本文,以下是jupyter的python代码和运行结果

# 首先导入decimal模块
from decimal import DecimalDecimal("0.000000001")
Decimal('1E-9')
# 可以看到decimal可以将 string类型转为精确小数,而且可以反向转换
Decimal("0.000000001").to_eng_string() 
'1E-9'
format(Decimal("0.00000001"), "0.8f")
'0.00000001'
# 但是有如下问题,float的如下判断是false:0.11 < (0.1 +0.01)
False
# decimal的如下判断却是True
Decimal("0.11") < (0.1 +0.01)
True
Decimal("0.11") < Decimal(0.1 +0.01)
True
Decimal("0.11") < Decimal(0.1) + Decimal(0.01)
True
# 更为严重的是,从小数转换为decimal的结果可能与常识不符
Decimal("0.11") == Decimal(0.1) + Decimal(0.01)
False
# 注意下面的结果
Decimal(0.1 +0.01)
Decimal('0.11000000000000000055511151231257827021181583404541015625')
0.1 + 0.01
0.11
Decimal(0.1) + Decimal(0.01)
Decimal('0.1100000000000000057592819402')
Decimal("0.1") + Decimal("0.01")
Decimal('0.11')
# 所以Decimal最好从字符串转,而不是通过float转,这样会有精度问题Decimal("0.1") + Decimal("0.01") ==  Decimal(0.1) + Decimal(0.01)
False
Decimal("0.1") + Decimal("0.01") ==  0.1 + 0.01
False
# 最后看一个实际应用对比Decimal("0.0101") < 1*Decimal("0.0001") + Decimal("0.01")
False
Decimal("0.0101") < 1*Decimal(0.0001) + Decimal("0.01")
True
# 不过0的转换没有问题
Decimal("0") == Decimal(0)
True
Decimal()
Decimal('0')
# 和java中的BigDecimal很像,使用时都需要注意,java的bigdecimal用法可以参考: https://juejin.cn/post/7374683456729104438
http://www.lryc.cn/news/366557.html

相关文章:

  • STM32项目分享:智能家居安防系统
  • qt c++类继承QWidget和不继承有什么区别
  • 什么是SIEM
  • 浅谈一下实例化
  • 【人工智能】第三部分:ChatGPT的应用场景和挑战
  • FLV 文件格式
  • FENDI CLUB精酿啤酒品鉴体验
  • 前端 CSS 经典:水波进度样式
  • 深入解析CSS中的块级元素
  • PDF裁剪网站
  • 数据结构复习指导之外部排序
  • 【Python报错】已解决TypeError: can only concatenate str (not “int“) to str
  • Log4j日志级别介绍
  • [MQTT]服务器EMQX搭建SSL/TLS连接过程(wss://)
  • 【纯血鸿蒙】——响应式布局如何实现?
  • 深入理解Django Serializer及其在Go语言中的实现20240604
  • 电子纸在日化行业的全新应用
  • 【Redis】Redis的双写问题
  • 生气时,你的“心”会发生什么变化?孟德尔随机化分析猛如虎,结果都是套路...
  • 页面加载性能分析时,有哪些常见的性能瓶颈需要特别注意?
  • Scanner
  • vue3实现录音与录像上传功能
  • PHP小方法
  • gulimall-search P125 springboot整合elasticsearch版本冲突
  • 如何在Coze中实现Bot对工作流的精准调用(如何提高Coze工作流调用的准确性和成功率)
  • 毫米波雷达阵列天线设计综合1(MATLAB仿真)
  • Freemarker
  • 基于Zero-shot实现LLM信息抽取
  • 【python】tkinter GUI编程经典用法,Label标签组件应用实战详解
  • 国产操作系统上给麒麟虚拟机安装virtualbox增强工具 _ 统信 _ 麒麟 _ 中科方德