当前位置: 首页 > news >正文

Hive数仓操作(十四)

一、Hive的DDL语句

在 Hive 中,DDL(数据定义语言)语句用于数据库和表的创建、修改、删除等操作。以下是一些重要的 DDL 语句:

1. 创建数据库和表

  • 创建数据库

    CREATE DATABASE IF NOT EXISTS database_name;
    
  • 创建表

    CREATE TABLE table_name (column1_name data_type,column2_name data_type,...
    )
    COMMENT 'Table comment'
    STORED AS file_format;
    

2. 修改表

  • 重命名表

    ALTER TABLE old_table_name RENAME TO new_table_name;
    
  • 添加列

    ALTER TABLE table_name ADD COLUMNS (new_column_name1 data_type , new_column_name2 data_type);
    
  • 重命名列

    ALTER TABLE table_name CHANGE old_column_name new_column_name data_type;
    
    • CHANGE 不能进行从字符串到数字类型或从大数字类型到小数字类型的转换
  • 删除列:

    • 使用 REPLACE COLUMNS 可以“删除”某些列,其实本质是通过重新定义表的列结构来实现。

    • 实际上,删除的列的数据不会立即物理删除,而是从表结构中移除。

    • REPLACE COLUMNS 中,需要列出所有想要保留的列及其数据类型。

    • 未列出的列将被“删除”。

    • 限制:只能从末尾开始删除列。如果从中间或开头删除,可能会导致表结构的错误,且无法恢复这些列的数据。

示例

假设有一个表 shop_fq,包含以下列:

CREATE TABLE shop_fq (id INT,name STRING,price DECIMAL(10, 2),category STRING
);

如果需要删除 pricecategory 列,只保留 idname,可以这样操作:

ALTER TABLE shop_fq REPLACE COLUMNS (id INT,name STRING
);

注意

  • 数据的物理存在: 虽然列被“删除”,但数据仍然存在于文件中,只是 Hive 不再管理这些数据。

3. 删除数据库和表

  • 删除数据库

    DROP DATABASE IF EXISTS database_name CASCADE;
    
  • 删除表

    DROP TABLE IF EXISTS table_name;
    

4. 分区和分桶

  • 创建分区表

    CREATE TABLE table_name (column1_name data_type,column2_name data_type
    )
    PARTITIONED BY (partition_column_name data_type)
    STORED AS file_format;
    
  • 创建分桶表

    CREATE TABLE table_name (column1_name data_type,column2_name data_type
    )
    CLUSTERED BY (bucket_column_name) INTO num_buckets BUCKETS
    STORED AS file_format;
    

5. 修改分区

  • 添加分区

    ALTER TABLE table_name ADD PARTITION (partition_column='value');
    
  • 删除分区

    ALTER TABLE table_name DROP PARTITION (partition_column='value');
    

二、Hive的子查询

查询出和10号部门的工作岗位相同的其他部门的员工信息

1. IN 子查询(由于HIVE莫名的不可抗力会经常报错,建议用后两种方法)

SELECT * 
FROM emp 
WHERE job IN (SELECT job FROM emp WHERE deptno=10) 
AND deptno != 10;
  • 从表 emp 中选择所有员工。
  • 条件是员工的 job 在子查询返回的职位列表中。
  • 子查询从 deptno 为 10 的部门中选择 job
  • 还要求 deptno 不是 10,以排除自身。

2. LEFT SEMI JOIN

SELECT * 
FROM (SELECT * FROM emp WHERE deptno != 10) a
LEFT SEMI JOIN (SELECT job FROM emp WHERE deptno=10) b
ON a.job = b.job;
  • emp 表中选择 deptno 不等于 10 的员工。
  • 使用 LEFT SEMI JOIN 将这些员工和来自 deptno 为 10 的员工的职位匹配。
  • LEFT SEMI JOIN 只返回在 b 中匹配的 a 的行,相当于使用 IN 的效果。

3. EXISTS

SELECT * 
FROM emp e 
WHERE EXISTS (SELECT 1 FROM emp b WHERE b.deptno=10 AND e.job = b.job) 
AND e.deptno != 10;
  • 从表 emp 中选择所有员工。
  • 使用 EXISTS 子查询检查是否存在 deptno 为 10 且 job 相同的记录。
  • 同时确保 deptno 不等于 10,以排除自身。
http://www.lryc.cn/news/453187.html

相关文章:

  • SpringBoot技术:实现古典舞在线交流平台的秘诀
  • 自动驾驶系列—全面解析自动驾驶线控制动技术:智能驾驶的关键执行器
  • YOLO11改进|卷积篇|引入可变核卷积AKConv
  • 推荐 uniapp 相对好用的海报生成插件
  • MySQL表操作(进阶)
  • 【设计模式】软件设计原则——接口隔离迪米特
  • 【C++】——list的介绍和模拟实现
  • B树系列解析
  • docker 部署 WEB IDE
  • 【Android】数据存储
  • 个人网络安全的几个重点与防御
  • python爬虫 - 初识爬虫
  • tomcat版本升级导致的umask问题
  • Golang | Leetcode Golang题解之第455题分发饼干
  • vscode+stfp插件,实现远程自动同步文件代码
  • python 实现djb2哈希算法
  • 文件夹作为普通文件而非子模块管理
  • 7c结构体
  • 浅聊前后端分离开发和前后端不分离开发模式
  • RabbitMQ篇(死信交换机)
  • HBase 的 MemStore 详解
  • 【嵌入式软件-数据结构与算法】01-数据结构
  • Windows应用开发-解析AVI视频文件
  • 探索TCP协议的奥秘:Python中的网络通信
  • 每日学习一个数据结构-树
  • 简单PCL库读文件(linux vscode编译)
  • 【自动驾驶】最近计划看的论文
  • vue3学习:axios输入城市名称查询该城市天气
  • 影刀RPA实战:Excel拆分与合并工作表
  • STM32三种启动模式:【详细讲解】