当前位置: 首页 > news >正文

spark3.x之后时间格式数据偶发报错org.apache.spark.SparkUpgradeException

3.x之后如果你去处理2.x生成的时间字符串数据,很容易遇到一个问题

Error operating ExecuteStatement: 
org.apache.spark.SparkUpgradeException: You may get a different result due to the upgrading of Spark 3.0: Fail to parse 
'20200725__cb90fcc3_8006_46b8_8f78_781aaff2e7f3' in the new parser. 
You can set spark.sql.legacy.timeParserPolicy to LEGACY to restore the behavior before Spark 3.0, or set to CORRECTED and treat it as an invalid datetime string.

这个问题的原因是2.x时,对时间数据的格式话用的是simpledateformat类,但是这个类对数据的容错很高,导致偶尔会生成数据后缀,3.x之后不用它了,但是在处理时遇到这种数据3.x的spark就会报上面的错误,而提示中说的spark.sql.legacy.timeParserPolicy=LEGACY是一种尝试修复的措施,并不能保证百分百没问题,最优解是处理数据的时候遇到时间字符串用substr截取一下

http://www.lryc.cn/news/494301.html

相关文章:

  • spring boot框架漏洞复现
  • 下载安装Android Studio
  • 三、计算机视觉_08YOLO目标检测
  • uniapp关闭sourceMap的生成,提高编译、生产打包速度
  • uniapp首页样式,实现菜单导航结构
  • uniapp-vue2引用了vue-inset-loader插件编译小程序报错
  • Git命令大全(超详细)
  • 【机器学习】机器学习学习笔记 - 监督学习 - 逻辑回归分类朴素贝叶斯分类支持向量机 SVM (可分类、可回归) - 04
  • 常见的数据结构---数组、链表、栈的深入剖析
  • 前端开发:构建高质量用户体验的全方位指南(含实际案例与示例)
  • Istio_05_Istio架构
  • MongoDB集群分片安装部署手册
  • 摄像头测距原理
  • 基于centos7.9使用shell脚本部署k8s1.25平台
  • 11.29周五F34-Day10打卡
  • 龙迅#LT8612UX适用于HDMI 转 HDMIVGA应用领域,分辨率高达4K60HZ,内置程序,方便调试!
  • C#学写了一个程序记录日志的方法(Log类)
  • 时间相关转换
  • 服务器挖矿
  • mac maven编译出现问题
  • 电磁兼容(EMC):磁性材料(永磁、软磁、功能磁)详解
  • macOS 版本对应的 Xcode 版本,以及 Xcode 历史版本下载
  • 从语法、功能、社区和使用场景来比较 Sass 和 LESS
  • springboot-vue excel上传导出
  • CTF-PWN: ret2libc
  • SickOs: 1.1靶场学习小记
  • 【ArcGIS Pro实操第10期】统计某个shp文件中不同区域内的站点数
  • JavaScript中类数组对象及其与数组的关系
  • 基础入门-Web应用架构搭建域名源码站库分离MVC模型解析受限对应路径
  • C#:时间与时间戳的转换