当前位置: 首页 > news >正文

修炼离线:(二)sqoop插入hbase 脚本(增量)

一:mysql创建表,插入数据。

二:hbase创建表。

habse shell
create 'aa'(表名),'cf'(列族)

三:mysql_hbase脚本。

#!/bin/shmysqlHost=$1
mysqlUserName=$2
mysqlUserPass=$3
mysqlDbName=$4
myqlTbName=$5
hbaseTbName=$6
hbaseTbRowkey=$7
hbaseTbRowfamily=$8
mysqlUpdateField=$9
lastMonthDealDate=${10}
p_dt=${11}echo ${mysqlHost}
echo ${mysqlUserName}
echo ${mysqlUserPass}
echo ${mysqlDbName}
echo ${myqlTbName}
echo ${hbaseTbName}
echo ${hbaseTbRowkey}
echo ${hbaseTbRowfamily}
echo ${mysqlUpdateField}
echo ${lastMonthDealDate}
echo ${p_dt}sqoop import "-Dorg.apache.sqoop.splitter.allow_text_splitter=true" \
"-Dsqoop.hbase.add.row.key=true"  \
--connect jdbc:mysql://${mysqlHost}/${mysqlDbName} \
--username ${mysqlUserName} \
--password ${mysqlUserPass} \
--table ${myqlTbName} \
--hbase-table ${hbaseTbName} \
--hbase-row-key ${hbaseTbRowkey} \
--column-family ${hbaseTbRowfamily} \
--where "date_format(${mysqlUpdateField},'%Y-%m-%d') between '${lastMonthDealDate}' and '${p_dt}'"#--num-mappers 16

四:shell脚本。

sh mysql_hbase.sh 27.155.84.54 root 123456 aaa(mysql库名) bbb(mysql表名)  MANUFACTURER,BLE_ID(hbase的rowkey) cf(hbase列族) edit_time(mysql更新字段) 2021-09-01(开始日期) 2023-09-19(结束日期)
http://www.lryc.cn/news/171698.html

相关文章:

  • 跨平台编程开发工具Xojo 2023 Release mac中文版功能介绍
  • OpenCV Series : Target Box Outline Border
  • 【AD】【规则设置】设置四层板
  • Linux安装JDK1.8并配置环境变量
  • 面向面试知识--MySQL数据库与索引
  • portainer + portainer/agent
  • C# 截取字符串
  • FOXBORO FBM233 P0926GX控制脉冲模块
  • MySQL性能优化——MYSQL执行流程
  • Django:四、Djiango如何连接使用MySQL数据库
  • LeetCode 热题 100(八):贪心。121. 买卖股票的最佳时机、45. 跳跃游戏 II
  • 第N个数字
  • 【适用于电力系统和音频系统】计算信号的总谐波失真 (THD)(Matlab代码实现)
  • kubernetes(k8s)PVC
  • Android ANR问题触发机制
  • 解决jupyter找不到虚拟环境的问题
  • Unity丨移动相机朝向目标并确定目标在摄像机可视范围内丨摄像机注释模型丨摄像机移动丨不同尺寸模型优化丨
  • 排序算法:归并排序(递归和非递归)
  • 数据可视化
  • Go并发可视化解释 – select语句
  • http的网站进行访问时候自动跳转至https
  • realloc
  • Windows AD域使用Linux Samba
  • Scrapy+Selenium自动化获取个人CSDN文章质量分
  • 【Android Framework系列】第15章 Fragment+ViewPager与Viewpager2相关原理
  • typeof的作用
  • 性能测试 —— Tomcat监控与调优:status页监控
  • Ubuntu 安装 CUDA 与 CUDNN GPU加速引擎
  • pdf文件太大如何处理?教你pdf压缩简单方法
  • Nacos使用教程(二)——nacos注册中心(1)