当前位置: 首页 > news >正文

解决一个Sqoop抽数慢的问题,yarn的ATSv2嵌入式HBASE崩溃引起

 新搭建的一个Hadoop环境,用Sqoop批量抽数的时候发现特别慢,我们正常情况下是一个表一分钟左右,批量抽十几个表,也就是10分钟的样子,结果发现用了2个小时:

查看yarn日志

 发现有如下情况:

主要有两个情况: 

1.有大量的等待日志:Waiting for AsyncDispatcher to drain.Thread state is :WAITING

2.异常中断:Interrupted while publishing entity

经网上查询得知,这个是因为ATSv2的嵌入式HBASE崩溃,需要重置HBASE数据库

步骤如下

1. 停止yarn

在ambari页面上停止yarn

2. 删除zk上的ATSv2 Znode
rmr /atsv2-hbase-unsecure或rmr /atsv2-hbase-secure
3. 删除HDFS上的Hbase嵌入式数据库
hdfs dfs -mv /atsv2/hbase/tmp/
4. 启动yarn

在ambari页面上重新启动yarn

再次重跑任务,时间已经明显的降低了。

http://www.lryc.cn/news/109411.html

相关文章:

  • 为Android构建现代应用——应用导航设计
  • 聊聊 Docker 和 Dockerfile
  • element表格+表单+表单验证结合u
  • 数据库:MYSQL参数max_allowed_packet 介绍
  • 基于DiscordMidjourney API接口实现文生图
  • springboot+vue农产品特产商城销售平台_50kf2 多商家
  • 【深度学习_TensorFlow】感知机、全连接层、神经网络
  • 软件测试(功能、接口、性能、自动化)详解
  • Oracle表段中的高水位线HWM
  • 【福建事业单位-推理判断】03类别推理
  • Leetcode-每日一题【剑指 Offer 05. 替换空格】
  • zookeeper+kafka分布式消息队列集群的部署
  • VR全景旅游,智慧文旅发展新趋势!
  • 详解EMBER数据集中对PE文件提取ByteEntropyHistogram特征
  • 垃圾回收机制和常用的算法
  • 【PostgreSQL】系列之 一 schema详解(二)
  • 性能优化-react路由懒加载和组件懒加载
  • 静态网页加速器:优化性能和交付速度的 Node.js 最佳实践
  • Spring 非自定义Bean注解
  • 微信小程序:点击按钮实现数据加载(带模糊查询)
  • 2023-2029年中国烘焙工坊市场经营管理风险与未来竞争优势分析报告
  • 用Rust实现23种设计模式之适配器
  • 替换开源LDAP,西井科技用宁盾目录统一身份,为业务敏捷提供支撑
  • 靶形数独
  • C语言阶段性测试题
  • java工厂设计模式
  • idea运行web老项目
  • JS进阶-Day3
  • springboot后端用WebSocket每秒向前端传递数据,python接收数据
  • 记录uniapp 滚动后溢出显示空白的办法