当前位置: 首页 > news >正文

hive add columns 后查询不到新字段数据的问题

分区表add columns 查询不到新增字段数据的问题;
5.1元数据管理
(1)基本架构
     Hive的2个重要组件:hiveService2 和metastore,一个负责转成MR进行执行,一个负责元数据服务管理
     beeline-->hiveService2/spark-->metastore-->metadata

hive 架构及 metastore 功能简单介绍_骑着蜗牛向前跑的博客-CSDN博客
(2)多级管理机制
有数据库、表、分区、字段、存储等多个元数据管理信息;
(3)spark可以使用hive的库表,因为spark也可以配置参数,调取hive的metastore信息,从而访问hdfs取数据;

Hive之深入了解元数据_hive元数据_珞沫的博客-CSDN博客
5.2 cascade关键字
    可以认为hadoop 的文件管理粒度对于分区表是到分区粒度的,是比表更细一个粒度的,所以alter table test1 add columns(department string comment ‘部门’) 这个命令不会改变历史分区的元数据信息,这种情况下即便insert overwrite命令更新了hdfs的数据,再使用select命令时仍然根据旧的元数据信息获取数据,所以获取不到新增字段;alter table test1 add columns(department string comment ‘部门’)cascade这个命令可以改变历史分区的元数据信息,insert overwrite命令后可以查到历史分区的新增字段数据;

hive分区表新增字段(add columns)后旧分区报错/字段无法写入(CASCADE)_hive add column-CSDN博客

http://www.lryc.cn/news/188564.html

相关文章:

  • 【linux】权限相关问题
  • “.NET视频总结:认识框架的结构和组件,掌握开发工具的奥妙“一
  • 02-RocketMQ开发模型
  • 第83步 时间序列建模实战:Catboost回归建模
  • 开源任务调度框架
  • Android Native 开发 要点记录
  • 数据库中查询所有表信息,查询所有字段信息
  • 改进智能优化算法常用指标一键导出为EXCEL,最优值,平均值,标准差,最差值,中位数,秩和检验,箱线图...
  • 在asp.net中,实现类似安卓界面toast的方法(附更多弹窗样式)
  • 一站式解决方案:Qt 跨平台开发灵活可靠
  • 将cpu版本的pytorch换成gpu版本
  • Ubuntu安装QQ
  • 【Python】实现excel文档中指定工作表数据的更新操作
  • 力扣(LeetCode)2731. 移动机器人(C++)
  • vite和webpack
  • MinIO图片正常上传不可查看,MinIO通过页面无法设置桶为public
  • Linux 指令心法(七)`cat` 查看、合并和创建文本文件
  • 解决docker开启MySQL的binlog无法成功。docker内部报错:mysql: [ERROR] unknown variable
  • c,python ,java,c++ c#在控制台打印彩色文本
  • MySQL数据库技术笔记(5)
  • python生成随机数
  • Twitter优化秘籍:置顶、列表、受众增长
  • vscode更改为中文版本
  • 【Linux系统KVM虚拟机实战】LVM逻辑卷之磁盘扩容
  • 史上最全 结构型模式之 桥接 外观 组合 享元模式
  • KBU810-ASEMI高性能整流桥KBU810
  • uniapp快速入门系列(2)- Vue基础知识
  • mac(M1)安装anaconda3
  • vscode远程ssh服务器且更改服务器别名
  • 【算法笔记】LCR 086. 分割回文串