当前位置: 首页 > news >正文

在Hive/Spark上运行执行TPC-DS基准测试 (ORC和TEXT格式)

目前,在Hive/Spark上运行TPC-DS Benchmark主要是通过早期由Hortonworks维护的一个项目:hive-testbench 来完成的。本文我们以该项目为基础介绍一下具体的操作步骤。不过,该项目仅支持生成ORC和TEXT格式的数据,如果需要Parquet格式,请参考此文《在Hive/Spark上执行TPC-DS基准测试 (Parquet格式)》。

备注:本文使用的Hive/Spark环境为AWS EMR,版本:6.11。本文操作须在EMR Master节点上执行!因为脚本中会使用到hdfs、beeline等命令行工具。

1. 前置条件

hive-testbench是在TPC-DS的官方工具包基础上开发的,所以它的编译和安装与TPC-DS官方工具包的编译和安装类似,在build前需要安装gccmaven,安装后执行如下命令进行build:

sudo yum -y install git
git clone https://github.com/hortonworks/hive-testbench.g
http://www.lryc.cn/news/128545.html

相关文章:

  • 如何仿写简易tomcat 实现思路+代码详细讲解
  • 如何提高深度学习性能
  • ECMAScript版本对比:从ES1到ES2021
  • 设计HTML5表格
  • 神经网络基础-神经网络补充概念-60-卷积步长
  • 怎么开通Tik Tok海外娱乐公会呢?
  • Java接口压力测试—如何应对并优化Java接口的压力测试
  • Coremail参与编制|《信创安全发展蓝皮书——系统安全分册(2023年)》
  • 分布式 - 消息队列Kafka:Kafka 消费者消息消费与参数配置
  • 批量爬虫采集大数据的技巧和策略分享
  • Springboot 实践(7)springboot添加html页面,实现数据库数据的访问
  • Go中带标签的break/continue以及goto的差别
  • SaaS当然是一门好生意了啊
  • ZooKeeper单机服务器启动
  • Jenkins自动发送飞书消息
  • Centos 7 出现 write error (disk full?)
  • 音视频实时通话解决方案
  • WPF的范围控件Slider
  • 前端框架Vue
  • 基于Servlet实现的管理系统(包含服务器源码+数据库)
  • Android JUnit测试完成程序自动退出决方法
  • 【FAQ】安防监控视频云存储平台EasyNVR频繁离线的原因排查与解决
  • ClickHouse(二十二):Clickhouse SQL DML操作及导入导出数据
  • Vue 2自定义指令入门
  • 【Sklearn】基于AdaBoost算法的数据分类预测(Excel可直接替换数据)
  • Docker+Selenium Grid搭建自动化测试平台
  • Django图书商城系统实战开发-总结经验之后端开发
  • LeetCode[1288]删除被覆盖区间
  • QT connect使用简单介绍
  • 【云原生】kuberneter中Helm入门到实践