当前位置: 首页 > news >正文

HDFS和HBase跨集群数据迁移 源码

HDFS集群间数据迁移(hadoop distcp)

hadoop distcp \
-pb \
hdfs://XX.14.36.205:8020/user/hive/warehouse/dp_fk_tmp.db/ph_cash_order \
hdfs://XX.18.32.21:8020/user/hive/warehouse/dp_fksx_mart.db/

在这里插入图片描述

HBase集群间数据(hbase ExportSnapshot)

/usr/local/fqlhadoop/hbase/bin/hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot \
-Dmapreduce.job.name=ExportSnapshot-portrait_info_fql_20241106 \
-Dmapreduce.job.queuename=lx_realtime \
-Dsnapshot.export.skip.tmp=true \
-Dmapreduce.map.memory.mb=4096 \
-Dmapreduce.map.java.opts=-Xmx3686m \
-overwrite \
-snapshot snapshot_portrait_info_fql_20241106 \
-copy-from hdfs://11.portraitszl.hbase.fql.com:8020/hbase \
-copy-to hdfs://1.compareportrait.hbase.fql.com:8020/hbase \
-mappers 150 \
-bandwidth 100

在这里插入图片描述

http://www.lryc.cn/news/480406.html

相关文章:

  • opencv实时弯道检测
  • 计算机网络综合题
  • 【ARM Linux 系统稳定性分析入门及渐进 1.2 -- Crash 工具依赖内容】
  • 「C/C++」C++标准库 之 #include<exception> 异常处理库
  • YOLOv7-0.1部分代码阅读笔记-experimental.py
  • 【大数据学习 | kafka】简述kafka的消费者consumer
  • 系统架构设计师论文:论湖仓一体架构及其应用
  • 电磁兼容(EMC):GB 4343.1喀呖声 详解
  • 纯血鸿蒙Native层支持说明
  • learn C++ NO.31——类型转换
  • 重学 Android 自定义 View 系列(三):自定义步数进度条
  • 海南华志亿星电子商务有限公司赋能抖音商家成长
  • 数据结构-并查集专题(1)
  • 共享汽车管理新纪元:SpringBoot框架应用
  • 道可云人工智能元宇宙每日资讯|《中国生成式人工智能应用与实践展望》白皮书发布
  • kaggle学习 eloData项目(1)-数据校验
  • ORACLE RAC用DNS服务器的配置
  • vue3 + vite 实现版本更新检查(检测到版本更新时提醒用户刷新页面)
  • 【CSP】爆零的独特姿势
  • Git仓库
  • 【科研日常】论文投稿的几大状态
  • SSLHandshakeException错误解决方案
  • python数据结构基础(7)
  • 【系统集成项目管理工程师】英语词汇对照表-项目管理类
  • 购物车-多元素组合动画css
  • 【计网不挂科】计算机网络期末考试——【选择题&填空题&判断题&简述题】题库(3)
  • [ vulnhub靶机通关篇 ] 渗透测试综合靶场 DarkHole:1 通关详解 (附靶机搭建教程)
  • 【LeetCode】移除链表中等于设定值的元素、反转链表
  • Redis - 主从复制
  • UE5 HLSL 学习笔记