当前位置: 首页 > news >正文

Python连接Hive实例教程

一 Python连接hive环境实例 

        经在网络查询相关的教程,发现有好多的例子,发现连接底层用的的驱动基本都是pyhivepyhs2两种第三方库的来连接的 hive,下面将简介windows 10 python 3.10 连接hive的驱动程序方式,开发工具:pycharm  ,经过测试已成功,分享给大家,有什么问题,可私信与我。

1 第一种:Python安装支持hive相关的库(pyhive)

1.1 安装sasl,本人建议采用离线安装方式,减少在线自动版本解决的问题

1.1.1 查询python版本 ,在命令下执行如下命令,如果不行,请查阅相关python安装教程

python --version

 如下图所示

 1.1.2 下载sasl相应版本的库(whl), 此处特别注意版本,如果版本不一致,导致不能安装同时使用

我的python为python 3.10的,

cp310:表示为python的版本,为python 3 10的

win_amd64:表示为驱动为windows 64位的驱动

下载网址(包括其他离线库和包):sasl下载版本地址https://www.lfd.uci.edu/~gohlke/pythonlibs/#sasl

相应包:sasl-0.3.1-cp310-cp310-win_amd64.whl在

pip install  sasl-0.3.1-cp310-cp310-win_amd64.whl

1.1.3 安装sasl,切换python环境的根目录,命令为

pip install  sasl-0.3.1-cp310-cp310-win_amd64.whl

 如下图所示,此处显示已安装成功的提示


1.2 安装thrift,命令如下,此处没有特别注意事项,如果有的话,请联系我

pip install thrift

 如下图所示

 1.3 安装thrift_sasl,命令如下

pip install thrift_sasl

 

 1.4 安装phhive,命令如下

pip install pyhive

 如下图所示,已安装提示

 2  第二种: Python安装支持hive相关的库(pyhs2)

2.1 如果安装中,有提供c++的库或相关工具,建立直接执行c++库包,我本采采用的360的全部C++库的安装方式,此方法简单明了,减少缺包的情况;或到微信官网下功相应的包安装。

注:此步要很重要

2.1 安装命令如下

pig install  pyhs2

 


二 Python开发实例


 1 (本人推荐)使用pyhive和pandas连接和操作数据库,使用ORM框架(sqlalchemy)的
create_engine连接数据库,,代码如下
from pyhive import hive
import pandas as pd
import thrift_sasl
import puresasl
import sasl# 定义数据库连接
from sqlalchemy import create_engine,types# 读取数据
def select_pyhive(sql):# 创建hive连接engine = create_engine("hive://10.88.221.112:10000/ods")try:df = pd.read_sql(sql, engine)return  dffinally:if engine:engine.dispose()#执行函数
df=select_pyhive('SHOW DATABASES')
print(df)
 2  使用pyhive和pandas连接和操作数据库,使用pyhive中的connection来连接hive,代码如下
from pyhive import hive
import pandas as pd# 读取数据
def select_pyhive(sql):# 创建hive连接conn = hive.Connection(host='10.88.221.112', port=10000, username='hive', password='hive',database='ods')try:df = pd.read_sql(sql, conn)return  dffinally:if conn:conn.close()#执行函数
df=select_pyhive('SHOW DATABASES')
print(df)

http://www.lryc.cn/news/112668.html

相关文章:

  • Jest和Mocha对比:两者之间有哪些区别?
  • Oracle:merge into用法
  • 【数据结构OJ题】消失的数字
  • linux 隔离内核
  • IO学习-有名管道
  • 小研究 - 基于 SpringBoot 微服务架构下前后端分离的 MVVM 模型(三)
  • 应用在多媒体手机中的低功率立体声编解码器
  • Teams Room视频会议室方案
  • C# 委托、事件、特性程序
  • MapTR论文笔记
  • JS进阶-Day4
  • 【C语言】初阶完结练习题
  • c++类与对象详解
  • I/O 函数/缓存和字节流、占位符、getchar(),putchar()
  • MySQL日期常见的函数
  • Python获取CPU温度
  • 后端整理(MySql)
  • HashSet的详细介绍
  • 【SCI征稿】JCR1区,中科院2区,有关大数据、人工智能、机器学习的应用研究均可
  • 【UE】AI导航,多个导航物体无法走到同一终点问题
  • 途游游戏 x 极狐GitLab “通关” DevOps :单元测试从无到优,覆盖率 0→80%
  • 【云原生】Docker-Compose全方面学习
  • 基于 Redux + TypeScript 实现强类型检查和对 Json 的数据清理
  • HIVE语法优化之Join优化
  • 如何申请境内金融信息服务报备
  • VS code:Task
  • 《Java-SE-第三十章》之哲学家就餐问题
  • 关于接口测试用例设计的一些思考
  • gin和gorm框架安装
  • 今天小编继续给大家分享五款高效的电脑宝藏软件