当前位置: 首页 > news >正文

hive排序

目录

order by (全局排序asc ,desc)

sort by(reduce 内排序)

Distribute by(分区排序)

Cluster By(当 distribute by 和 sorts by 字段相同时 ,可以使用 )


order by (全局排序asc ,desc)
INSERT OVERWRITE LOCAL DIRECTORY '/home/test2'
ROW FORMAT DELIMITED FIELDS TERMINATED by '\t'
select * from emp_partition order by emp_no desc;
sort by(reduce 内排序)

--根据设置的reduce个数,如果是2个reduce,则最少生成2个文件,每个reduce内部排序

--设置reduce个数
set mapred.reduce.tasks; -- (默认 -1 为无限制)
set mapred.reduce.tasks = 2; -- 设置 reduce 个数
INSERT OVERWRITE LOCAL DIRECTORY '/home/test2'
ROW FORMAT DELIMITED FIELDS TERMINATED by '\t'
select * from emp_partition sort by emp_no desc ;
Distribute by(分区排序)

类似于partition,进行分区,只是分成不同文件,文件中没有排序,生成文件受reduce数量影响

一般和sort by一起使用,可以每个分区内排序

INSERT OVERWRITE LOCAL DIRECTORY '/home/test2'
ROW FORMAT DELIMITED FIELDS TERMINATED by '\t'
select * from emp_partition Distribute by gender sort by emp_no desc ;
Cluster By(当 distribute by sorts by 字段相同时 ,可以使用 )

除具有distribute by 的功能,还有 sort by的功能, 但只能升序

INSERT OVERWRITE LOCAL DIRECTORY '/home/test2'
ROW FORMAT DELIMITED FIELDS TERMINATED by '\t'
select * from emp_partition Cluster By emp_no;

http://www.lryc.cn/news/195773.html

相关文章:

  • 网络安全入门教程(非常详细)从零基础入门到精通
  • 自动驾驶中的数据安全和隐私
  • 回应:淘宝支持使用微信支付?
  • k8s的etcd启动报错
  • codeigniter 4.1.3 gadget chain
  • L1-039 古风排版 C++解法
  • docker安装tomcat
  • 别人ping不通我的ip解决方法
  • Python爬虫基础之Selenium详解
  • MS5228数模转换器可pin对pin兼容AD5628
  • 强化学习基础(2)—常用算法总结
  • Web攻防01-ASP应用相关漏洞-HTTP.SYSIIS短文件文件解析ACCESS注入
  • 入门小白拥有服务器的建议
  • Spring源码解析——事务增强器
  • JAVA发送消息到RabbitMq
  • Python 函数(lambda 匿名函数、自定义函数、装饰器)基本使用指南
  • 第五届芜湖机器人展,正运动助力智能装备“更快更准”更智能!
  • JVM八股文
  • 代码随想录算法训练营第二十四天丨 回溯算法part02
  • 【Python机器学习】零基础掌握AgglomerativeClustering聚类
  • uniapp小程序中给web-view页面添加授权弹窗(使用cover-view组件覆盖实现该功能)
  • 2023年全球及中国CGT CDMO市场发展现状分析:CGT 渗透率有效助力CGT CDMO快速发展[图]
  • 上抖音热搜榜需要做哪些准备?
  • LDA代码训练报错记录
  • 【吞噬星空】爽翻,徐欣喜提永恒之体,罗峰秒杀败类,阿特金磕头认错
  • 【c++】跟webrtc学状态改变
  • 【入门】.Net Core 6 WebApi 项目搭建
  • xtrabackup备份 脚本
  • 13SpringMVC中拦截器的配置(拦截规则)和多个拦截器的preHandle,postHandle执行顺序原理详解
  • Liunx中系统安全及文件系统(极其粗糙版)