当前位置: 首页 > news >正文

二百零六、Flume——Flume1.9.0单机版部署脚本(附截图)

一、目的

在实际项目部署时,要实现易部署易维护,需要把安装步骤变成安装脚本实现快速部署

二、部署脚本在Linux中文件位置

文件夹中只有脚本文件flume-install.sh和tar包apache-flume-1.9.0-bin.tar.gz

三、Flume安装脚本

#!/bin/bash


#获取服务器名称和用户名
hostname=`hostname`
echo "current host name is $hostname"
whoami=`whoami`
echo "current user is $whoami"

#flume下载路径
installdir=/usr/local/hurys/dc_env/flume
if [ ! -d "$installdir" ];then
 mkdir $installdir
fi

#日志文件
nowpath=$(cd "$(dirname "$0")";pwd)
logDir=$nowpath/log/
cd $nowpath
if [ ! -d $logDir ];then
    mkdir -p $logDir
fi
nowtime=`date --date='0 days ago' "+%Y%m%d%H%M%S"`
daytime=`date --date='0 days ago' "+%Y%m%d"`
log_file="$logDir/flume_$daytime.log"

echo '------------ 卸载原有的flume  ------------' | tee -a $log_file
#卸载原有的flume
rm -rf /usr/local/hurys/dc_env/flume/flume190/
  
echo '------------ 安装flume  ------------' | tee -a $log_file
#解压flume安装包
tar  -zxf /usr/local/hurys/dc_env/flume/tar/apache-flume-1.9.0-bin.tar.gz   -C /usr/local/hurys/dc_env/flume/
mv  /usr/local/hurys/dc_env/flume/apache-flume-1.9.0-bin/   /usr/local/hurys/dc_env/flume/flume190
  
echo '------------ 将 lib 文件夹下的 guava-11.0.2.jar 删除以兼容 Hadoop 3.1.3 ------------'  | tee -a $log_file
#将 lib 文件夹下的 guava-11.0.2.jar 删除以兼容 Hadoop 3.1.3
rm  -rf  /usr/local/hurys/dc_env/flume/flume190/lib/guava-11.0.2.jar
 
echo '------------ 修改配置文件flume-env.sh ------------' | tee -a $log_file
#修改配置文件flume-env.sh  
cp  /usr/local/hurys/dc_env/flume/flume190/conf/flume-env.sh.template  /usr/local/hurys/dc_env/flume/flume190/conf/flume-env.sh
    
cat>>/usr/local/hurys/dc_env/flume/flume190/conf/flume-env.sh<<EOF
export JAVA_HOME=$JAVA_HOME

export JAVA_OPTS="-Xms8000m -Xmx8000m -Dcom.sun.management.jmxremote"
EOF

echo '------------ 安装nc和telnet  ------------' | tee -a $log_file
#安装nc和telnet
cd /usr/local/hurys/dc_env/flume/flume190/conf/
yum install -y nc
yum install telnet-server
yum install telnet.*

echo '------------ Complete ------------' | tee -a $log_file

四、Flume脚本安装步骤

(一)到Flume目录下,sh执行安装脚本

# cd /usr/local/hurys/dc_env/flume/

# sh flume-install.sh

更新telnet-server时,选择y

更新telnet时,选择y

(二)验证Flume,测试一下端口

首先,登录监视窗口

# nc -lk  44444

然后,开启聊天窗口

# telnet  localhost  44444

接着,在聊天窗口输入 hello world

继而,监视窗口会自动出现 hello world

最后,在监视窗口ctrl+c退出

总的来说,Flume的安装还是非常简单的,我认为Flume玩法的关键之处就在于任务文件中各种参数的配置,如何配置参数才能及时的、完整的消费数据,这才是Flume的灵魂!

http://www.lryc.cn/news/236723.html

相关文章:

  • 不必购买Mac,这款国产设计工具能轻松替代Sketch!
  • 通过多线程的方式每次发送10条MQ消息
  • springboot上传文件后显示权限不足
  • spring-boot-maven-plugin插件 —— 打包时减小jar包的大小方法
  • java Bigdecimal
  • 【C++11并发】thread 笔记
  • OBS Studio免费开源录屏工具
  • 【汇编】[bx+idata]的寻址方式、SI和DI寄存器
  • Java,集合框架,关于Map接口与Collections工具类
  • 【实用技巧】更改ArduinoIDE默认库文件位置,解放系统盘,将Arduino15中的库文件移动到其他磁盘
  • 二、什么是寄存器
  • 邀请报名|11月24日阿里云原生 Serverless 技术实践营 深圳站
  • 学习UI第一天
  • 1688商品详情原数据(2023年11月最新版)
  • CleanMyMac X2024免费测试版好不好用?值不值得下载
  • Linux操作文件的底层系统调用
  • steam搬砖项目2023年现状分析,到底还能不能做?
  • 【论文阅读】基于隐蔽带宽的汽车控制网络鲁棒认证(二)
  • string类的常用方法
  • Java面向对象(高级)-- 单例(Singleton)设计模式
  • 【Kingbase FlySync】命令模式:安装部署同步软件,实现Oracle到KES实现同步
  • 2311d导入c的语义不同
  • OpenHarmony Meetup北京站招募令
  • C语言——冒泡排序
  • 08.智慧商城——购物车布局、全选反选、功能实现
  • 金属压块液压打包机比例阀放大器
  • python 自动化福音,30行代码手撸ddt模块
  • 基于GATK流程化进行SNP calling
  • 【Java SE】如何解读Java的继承和多态的特性?
  • uniapp 手动调用form表单submit事件