当前位置: 首页 > news >正文

遇到问题:hive中的数据库和sparksql 操作的数据库不是同一个。

遇到的问题:

1、hive中的数据库和sparksql 操作的数据库不同步。

观察上面的数据库看是否同步 !!!

2、查询服务器中MySQL中hive的数据库,发现创建的位置没有在hdfs上,而是在本地。

 

这个错误产生的原因是:

你使用sparksql创建了数据库,没有使用hive界面创建。理论讲不管哪个进行创建都应该没问题,sparksql创建数据库有问题,说明spark的集群配置有问题,需要检查。

检查两个方面:

1)spark的yarn集群是否遗漏什么配置

2)spark连接hive有问题

正确界面应该如下所示:

上述截图创建的位置是在hdfs上  同步的!!!观察你的是否这样?

解决办法:

如果你的不同步,可以试一下如下这个办法。

1、在hive 下修改hive-site.xml

<property><name>hive.metastore.schema.verification</name><value>false</value></property>

2、将hive-site.xml 复制到 spark的conf 下

cp /opt/installs/hive/conf/hive-site.xml /opt/installs/spark/conf

3、修改spark下的hive-site.xml

<property><name>hive.server2.thrift.port</name><value>10001</value><description>Port number of HiveServer2 Thrift interface when hive.server2.transport.mode is 'binary'.</description></property>

4、接着分发一下(这里用到了分发脚本xsync.sh):

xsync.sh /opt/installs/spark/conf/hive-site.xml

5、重启thrift服务:

#停止
/opt/installs/spark/sbin/stop-thriftserver.sh#启动
/opt/installs/spark/sbin/start-thriftserver.sh 
--hiveconf hive.server2.thrift.port=10001 
--hiveconf hive.server2.thrift.bind.host=bigdata01 
--master yarn 
--conf spark.sql.shuffle.partitions=2

使用datagrip 重新连接一下,记得刷新一下连接。

http://www.lryc.cn/news/499687.html

相关文章:

  • Spring Boot与Spring Security集成:前后分离认证流程的优化实践
  • 设计模式——Chain(责任链)设计模式
  • HarmonyOS(63) ArkUI 自定义占位组件NodeContainer
  • Python深度强化学习对冲策略:衍生品投资组合套期保值Black-Scholes、Heston模型分析...
  • 【opencv入门教程】2. Point()类用法
  • 前端导出excel实战(xlsx库和exceljs库)
  • 【附源码】基于环信鸿蒙IM SDK实现一个聊天Demo
  • Python库常用函数-数据分析
  • 汽车EEA架构:架构的简介
  • 渗透测试--数据库攻击
  • 反向路径转发(RPF)
  • Python 正则表达式常用特殊字符及其含义
  • Uniapp Android SpringBoot3 对接支付宝支付(最新教程附源码)
  • SQL DML 语句
  • 饲料颗粒机全套设备有哪些机器组成
  • MySQL事务与锁
  • 汽车免拆案例 | 2007款宝马650i车发动机偶尔无法起动
  • PostgreSQL和Oracle的sql差异
  • SpringMvc完整知识点二(完结)
  • 29 - Java Serializable 序列化
  • 59 基于STM32的烟雾、红外、温湿度检测
  • 使用Excel 对S型曲线加减速算法进行仿真
  • flink-connector-mysql-cdc:01 mysql-cdc础配置代码演示
  • java计算机毕设课设—进销存管理系统(附源码、文章、相关截图、部署视频)
  • 鸿蒙UI开发——渐变色效果
  • 嵌入式硬件设计 — 智能设备背后的隐形架构大师
  • QNX的系统资源访问机制
  • 高校数字化运营平台解决方案:构建统一的服务大厅、业务平台、办公平台,助力打造智慧校园
  • 多模态大型语言模型MM-1.5采用数据驱动的方法,通过不断优化数据组合提高模型性能
  • 16 设计模式之适配器模式(充电器转换案例)