当前位置: 首页 > news >正文

Hive操作案例

目录

  • idea/dg远程连接
  • 导入数据
    • 建表
    • 数据导入

idea/dg远程连接

hive的详细安装不多展示,自行搜索即可。
依次启动zookeeper,hadoop
在zookeeper的节点上启动如下指令(我的是1个主节点和2个备用节点)
启动Hive的metastore(存储和管理元数据的服务)和hiveserver2(远程连接服务)

nohup hive --service metastore >  /root/training/apache-hive-3.1.3-bin/logs/metastore.log 2>&1 &
nohup hive --service hiveserver2 > /root/training/apache-hive-3.1.3-bin/logs/hiveserver2.log 2>&1 &

远程连接方面,以idea为例(datagrip在idea有集成)
在这里插入图片描述
注意下端口和用户即可,其他的没什么特别需要注意的地方。

报错

[08S01][1] Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:Got exception: org.apache.hadoop.security.AccessControlException Permission denied: user=anonymous, access=WRITE, inode=“/user/hive/warehouse”:root:supergroup:drwxr-xr-x at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check(FSPermissionChecker.java:506) at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:346) at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermissionWithContext(FSPermissionChecker.java:3 …

连接完成后敲代码,遇到这样的错误表明:当前用户操作的hdfs目录(hdfs中的hive目录)权限不够
我这里是匿名用户,没有写的权限,因此需要修改

解决
在虚拟机上修改hadoop中的warehouse目录下的权限,这也是hive的目录
这个目录修改为你自己的即可,具体看报错内容

hdfs dfs -chmod 777 /user/hive/warehouse

导入数据

自己建立一个csv文件(数据描述)
由于虚拟机大小限制,自己重新做了个。
关于csv文件自行编写即可

建表

创建表user_log和user_info。

create table user_info(id int comment "唯一表示id",age_range int comment "年龄范围",gender  int comment "性别 0女 1男 2保密"
)
row format delimited
fields terminated by ","
lines terminated by "\n";create table user_log(user_id int comment "买家id",item_id int comment "产品id",cat_id int comment "分类id",seller_id int comment "卖家id",brand_id int comment "品牌id",time_stamp bigint comment "时间戳",action_type int
)
row format delimited
fields terminated by ","
lines terminated by "\n";

数据导入

值得说明的是,csv文件首行(列名描述)应当删去,不然导入数据时会出现首行因数据类型不一致而出现空的情况
在这里插入图片描述
上传数据至hive中(用hive的客户端)

load data local inpath '/root/tools/user_log.csv' into table user_log;
load data local inpath '/root/tools/user_info.csv' into table user_info;
http://www.lryc.cn/news/502726.html

相关文章:

  • C++ 内存管理和模板与STL
  • JDK8新特性:Stream
  • 前端传入Grule,后端保存到 .grl 文件中
  • 探索《Crypto Rumble》 游戏:经济模型篇
  • 【CSS in Depth 2 精译_072】第 12 章 CSS 排版与间距概述 + 12.1 间距设置(上):究竟该用 em 还是 px
  • Elasticsearch对象映射
  • Oracle 19c rac 补丁升级,从19.7 to19.22-集群
  • 机器学习--Kaggle的使用
  • 客户服务新突破,天润融通助力电动车企业实现数智化转型
  • 力扣题目 - 2931.购买物品的最大开销
  • 智慧化工园区自动化在线监测,建立产业链路数字安全网
  • 在Docker中运行MySQL的思考:挑战与解决方案
  • Linux中所有和$有关的操作
  • github操作学习笔记(杂乱版)
  • 学习思考:一日三问(思考篇)之路由表
  • 多个NVR同时管理EasyNVR:设置了“按需拉流超时”配置但没反应的解决方法
  • 基于Springboot的实验室管理系统【附源码】
  • 【Oracle11g SQL详解】常用字符串函数:`CONCAT`、`SUBSTR`、`LENGTH`、`INSTR` 等
  • 某养老产业公司管理诊断项目成功案例纪实
  • 自然语言处理基础及应用场景
  • 网页爬虫技术全解析:从基础到实战
  • 数据仓库-查看表和数据库的信息
  • 【JVM】JVM基础教程(四)
  • 深入了解Text2SQL开源项目(Chat2DB、SQL Chat 、Wren AI 、Vanna)
  • websocket 服务 pinia 全局配置
  • 基于Springboot企业oa管理系统【附源码】
  • Python遥感开发之地理探测器的实现
  • 【HarmonyOS】 鸿蒙保存图片或视频到相册
  • Apache Echarts和POI
  • 厦门凯酷全科技有限公司正规吗靠谱吗?