当前位置: 首页 > news >正文

一百六十、Kettle——Linux上安装的Kettle9.2.0连接Hive3.1.2

一、目标

Kettle9.2.0在Linux上安装好后,需要与Hive3.1.2数据库建立连接

之前已经在本地上用kettle9.2.0连上Hive3.1.2

二、各工具版本

(一)kettle9.2.0   

kettle9.2.0安装包网盘链接

链接:https://pan.baidu.com/s/15Zq9wNDwyMnc3qFVxYOMXw?pwd=zwae 
提取码:zwae

(二)Hive3.1.2 

(三)Hadoop3.1.3

三、前提准备

(一)Kettle9.2.0已在Linux上安装好

(二)注意Kettle9.2里MySQL驱动包的版本以及Hive312里MySQL驱动包的版本

1、Hive312的lib里面MySQL驱动包的版本是mysql-connector-java-5.1.37.jar

2、Kettle9.2里MySQL驱动包的版本

mysql-connector-java-5.1.37.jar       ;   mysql-connector-java-8.0.30.jar

 四、安装步骤

(一)根据Hadoop版本在选择对应的文件(千万不要随便选!)

 1、文件路径

/opt/install/kettle9.2/data-integration/plugins/pentaho-big-data-plugin/hadoop-configurations

2、Hadoop版本与文件夹对应规则  

3、选择文件,复制文件名(Hadoop版本与文件夹一定要匹配!)

因为我的Hadoop版本是Hadoop3.1.3,所以我选择的文件夹是hdp30

(二)修改kettle里pentaho-big-data-plugin文件夹里的源文件plugin.properties

 1、文件路径

/opt/install/kettle9.2/data-integration/plugins/pentaho-big-data-plugin

 2、  只要设置       active.hadoop.configuration=hdp30

 (三)从我们安装的Hadoop、Hive里拉取需要的文件复制到hdp30的文件夹下(如需要HBase则拉取HBase的 hbase-site.xml)

1、文件路径

/opt/install/kettle9.2/data-integration/plugins/pentaho-big-data-plugin/hadoop-configurations/hdp30

2、主要替换5个文件

Hadoop4个文件:    yarn-site.xml、mapred-site.xml、hdfs-site.xml、core-site.xml

Hive1个文件:         hive-site.xml

结果如下所示

 (四)复制需要的jar包

1、从Hive安装路径的lib目录复制以hive开头的jar包,复制到hdp30\lib文件夹

文件路径:/opt/install/kettle9.2/data-integration/plugins/pentaho-big-data-plugin/hadoop-configurations/hdp30/lib

 2、复制Hadoop安装目录下的 hadoop-common-3.1.3.jar到hdp30\lib里

文件路径:/opt/install/kettle9.2/data-integration/plugins/pentaho-big-data-plugin/hadoop-configurations/hdp30/lib

3、把hive的安装路径hive312/jdbc里的驱动包复制到 kettle9.2的data-integration\lib文件下

(1)hive312/jdbc里的驱动包文件路径

 (2)目标文件路径:/opt/install/kettle9.2/data-integration/lib

 

(五)启动Hadoop和Hive服务,打开kettle9.2,连接Hive数据库

kettle9.2连接hive312,连接成功! 

(六)执行从Hive到ClickHouse的kettle任务,测试一下

kettle任务运行成功! 

(七)注意Hive数据库的中文乱码问题 

解决方法:kettle9.2在配置Hive数据库时在高级模块添加set names utf8;           配置好后测试一下

 

到这里,Linux上安装的Kettle9.2.0连接Hive3.1.2数据库就结束了!

乐于奉献共享,帮助你我他!!!

http://www.lryc.cn/news/129185.html

相关文章:

  • C++新经典03--共用体、枚举类型与typedef
  • HCIP-OpenStack组件介绍
  • 2682. 找出转圈游戏输家
  • RESTAPI简介与DRF使用
  • 深度学习笔记(kaggle课程《Intro to Deep Learning》)
  • windows下载任意版本php
  • Linux命令
  • TDD(测试驱动开发)?
  • C/C++
  • CCF C³ 走进百度:大模型与可持续生态发展
  • Vue使用html2canvas将DOM节点生成对应的PDF
  • 专访阿里云席明贤,视频云如何运用大模型与小模型来破茧升级2.0
  • Vue 2的计算属性与侦听器
  • JavaScript基础:学习JavaScript语言的基本语法和常用操作,了解网页交互的基本原理
  • 网络每日一练
  • asp.net core读取request内容
  • 笔记:移植xenomai到nuc972(2)
  • 记忆正则表达式的基本元件
  • 低代码是什么?解决哪些问题?什么业务场景适合用低码开发?
  • SOA架构
  • “深入探索JVM内部机制:解密Java虚拟机“
  • PostgreSQL空值的判断
  • 使用phpunit进行单元测试
  • MongoDB 简介
  • [LitCTF 2023]Follow me and hack me
  • Java从入门到高级的全面指南
  • linux 命令- systemctl
  • 自动驾驶,一次道阻且长的远征|数据猿直播干货分享
  • 大数据培训前景怎么样?企业需求量大吗
  • redis — 基于Spring Boot实现redis延迟队列