当前位置: 首页 > news >正文

Spark系列之:使用spark合并hive数据库多个分区的数据到一个分区中

Spark系列之:使用spark合并hive数据库多个分区的数据到一个分区中

  • 把两个分区的数据合并到同一个分区下
  • 把其中一个分区的数据通过append方式添加到另一个分区即可
%spark
val df = spark.sql("select * from optics_prod.product_1h_a where datetime='2023111423'").repartition(10).write.mode("append").parquet("/optics-prod/dwh/ods/optics/product_1h_a/datetime=2023112223")
http://www.lryc.cn/news/266563.html

相关文章:

  • 《重构-改善既有代
  • vue3(七)-基础入门之事件总线与动态组件
  • 【计算机网络】网络层——IP协议
  • 《钢结构设计标准》中抗震性能化设计的概念
  • 【算法】【动规】回文串系列问题
  • 4-Docker命令之docker logs
  • svelte基础语法学习
  • Node.js教程-mysql模块
  • 网络通信协议
  • Spark集群部署与架构
  • DshanMCU-R128s2 SDK 架构与目录结构
  • 【5G PHY】NR参考信号功率和小区总传输功率的计算
  • k8s学习 — 各知识点快捷入口
  • 【Python】Python 批量转换PDF到Excel
  • Python并行计算和分布式任务全面指南
  • 微信小程序promise封装
  • hash长度扩展攻击
  • 设计模式--命令模式
  • 单例模式的七种写法
  • ElasticSearch入门介绍和实战
  • 【FPGA】分享一些FPGA视频图像处理相关的书籍
  • AUTOSAR从入门到精通-车载以太网(四)
  • MySQL报错:1054 - Unknown column ‘xx‘ in ‘field list的解决方法
  • 【Android 13】使用Android Studio调试系统应用之Settings移植(四):40+个依赖子模块之ActionBarShadow
  • nosql-redis整合测试
  • 智能化中的控制与自动化中的控制不同
  • java练习题之多态练习
  • [原创][R语言]股票分析实战[4]:周级别涨幅趋势的相关性
  • esp32使用lvgl,给图片取模显示图片
  • R语言使用scitb包10分钟快速绘制论文基线表