当前位置: 首页 > news >正文

Sqoop导入到Hive,Hive使用 HA

Sqoop写入Hive卡在连接Hive的JDBC上不执行

Sqoop访问 启用 HA模式的Hive

找到Hive的安装根目录:$HIVE_HOME/conf
创建一个新的配置文件:beeline-hs2-connection.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property><name>beeline.hs2.connection.user</name><value>hive</value>
</property>
<property><name>beeline.hs2.connection.password</name><value>hive</value>
</property>
</configuration>

beeline.hs2.connection.user:指定Hive访问的用户名
beeline.hs2.connection.password:当前用户名对应的访问密码

重新执行后发现会有新的报错信息:

报错信息

23/11/02 13:57:23 INFO hive.HiveImport: Error: Error while compiling statement: FAILED: SemanticException Unable to load data to destination table. Error: The file that you are trying to load does not match the file format of the destination table. (state=42000,code=40000)
23/11/02 13:57:23 INFO hive.HiveImport: Closing: 0: jdbc:hive2://hdp3.node1:2181,hdp3.node2:2181,hdp3.node3:2181/default;password=hive;serviceDiscoveryMode=zooKeeper;user=hive;zooKeeperNamespace=hiveserver2
23/11/02 13:57:23 ERROR tool.ImportTool: Import failed: java.io.IOException: Hive exited with status 2at org.apache.sqoop.hive.HiveImport.executeExternalHiveScript(HiveImport.java:253)at org.apache.sqoop.hive.HiveImport.importTable(HiveImport.java:206)at org.apache.sqoop.hive.HiveImport.importTable(HiveImport.java:273)at org.apache.sqoop.tool.ImportTool.importTable(ImportTool.java:564)at org.apache.sqoop.tool.ImportTool.run(ImportTool.java:655)at org.apache.sqoop.Sqoop.run(Sqoop.java:151)at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:82)at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:187)at org.apache.sqoop.Sqoop.runTool(Sqoop.java:241)at org.apache.sqoop.Sqoop.runTool(Sqoop.java:250)at org.apache.sqoop.Sqoop.main(Sqoop.java:259)

解决办法:

1-新建一个存储格式为textfile的临时表

create table hive_db.hive_01( id string comment 'Id') 
row format delimited fields terminated by '\001' 
stored as textFile;

2-将数据导入临时表中(Sqoop执行的Import写入到临时表中)
3-通过查询插入的方式将临时表数据导入目标表

insert into hive_db.hive_table select * from hive_db.hive_01
http://www.lryc.cn/news/217181.html

相关文章:

  • [笔记] %的含义
  • FRI及相关SNARKs的Fiat-Shamir安全
  • TensorFlow案例学习:使用 YAMNet 进行迁移学习,对音频进行识别
  • MySQL CHAR 和 VARCHAR 的区别
  • 虚拟机 ping: www.baidu.com:未知的名称或服务
  • 第二章 Python字符串处理
  • 混合编程 ATPCS规范及案例(汇编调用C、C调用汇编、内联汇编)
  • 使用Gorm进行CRUD操作指南
  • Linux0.11内核源码解析-exec.c
  • 百度竞价排名推广对比自然排名哪一个更具优势-华媒舍
  • python第一课 变量
  • shell之netstat的用法
  • MSQL系列(十二) Mysql实战-为什么索引要建立在被驱动表上
  • C语言,数据结构指针,结构构体操作符 •,->,*的区别,看这篇就够了
  • axios 多个baseURL配置、实现不同前缀代理到不同的服务器的几种方式
  • Diango项目-简易个人博客项目
  • 思维训练3
  • 初识FFmpeg
  • 分布式多主关系数据库的底线业务优势
  • JMM讲解
  • 小程序获取头像和昵称的思路
  • 关于docker网络实践中遇到的问题
  • C#完成XML文档节点的自动计算功能
  • 体验SOLIDWORKS旋转反侧切除增强 硕迪科技
  • 分布式ID系统设计(3)
  • 工作备忘录【微信】
  • Window下SRS服务器的搭建
  • Canvas绘制简易雨滴碰撞效果
  • 【五、http】go的http的信息提交
  • 第六讲:VBA与ACCESS的ADO连接中,所涉及的对象