当前位置: 首页 > news >正文

6. dolphinscheduler-3.0.0伪集群部署

环境说明:

主机名:cmc01为例 

操作系统:centos7

安装部署软件版本部署方式
centos7
zookeeperzookeeper-3.4.10伪分布式
hadoophadoop-3.1.3伪分布式
hivehive-3.1.3-bin伪分布式
clickhouse21.11.10.1-2单节点多实例
dolphinscheduler3.0.0单节点
kettlepdi-ce-9.3.0.0单节点
sqoopsqoop-1.4.7单节点
seatunnelseatunnel-incubating-2.1.2单节点
sparkspark-2.4.8单节点

1.下载dolphinscheduler: 

   官网:https://dolphinscheduler.apache.org/zh-cn/download/download.html

   解压:

# 解压
tar -zxvf /opt/package/apache-dolphinscheduler-3.0.0-alpha-bin.tar.gz -C /opt/software/

2.配置环境变量

vim ~/.bash_profile# hive
export HIVE_HOME=/opt/software/hive-3.1.3-bin
export HIVE_CONF_DIR=${HIVE_HOME}/conf
export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HIVE_HOME/lib/*
export PATH=$PATH:${HIVE_HOME}/bin

# 使用环境变量生效
source ~/.bash_profile

3.配置用户免密及权限

# 创建用户需使用 root 登录
useradd dolphinscheduler# 添加密码
echo "dolphinscheduler" | passwd --stdin dolphinscheduler# 配置 sudo 免密
sed -i '$adolphinscheduler  ALL=(ALL)  NOPASSWD: NOPASSWD: ALL' /etc/sudoers
sed -i 's/Defaults    requirett/#Defaults    requirett/g' /etc/sudoers# 修改目录权限
chown -R dolphinscheduler:dolphinscheduler /opt/software/apache-dolphinscheduler-3.0.0-alpha-bin# 测试用户免密是否成功
su dolphinscheduler
sudo ls  # 如果此命令不需要输入密码则成功# 退出当前用户
exit

4.配置机器SSH免密登陆

su dolphinschedulerssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys

5.修改配置文件

  1.修改 install_env.sh 文件

cd /opt/software/apache-dolphinscheduler-3.0.0-alpha-bin/bin/env# 修改 install_env.sh 文件
vim install_env.sh

http://www.lryc.cn/news/403359.html

相关文章:

  • 防火墙内容安全综合实验
  • 常见的数据分析用例 —— 信用卡交易欺诈检测
  • IP地址:由电脑还是网线决定?
  • 如何定位及优化SQL语句的性能
  • SentenceTransformers (SBERT)
  • 第三届智能机械与人机交互技术学术会议(IHCIT 2024)
  • 图的访问(C++)
  • LeetCode做题记录(第二天)169. 多数元素
  • Adobe XD中文设置指南:专业设计师的现场解答
  • CentOS 7 安装Jenkins2.346.1(war方式安装)
  • 使用Java -jar运行就jar包时报异常:org.yaml.snakeyaml.error.YAMLException异常
  • golang实现的ab测试http代理工具
  • Maven学习——Maven的下载、安装与配置(详细攻略!)
  • C#知识|账号管理系统-修改账号按钮功能的实现
  • bug等级和优先级
  • 记录|C# winform布局学习
  • C/C++ json库
  • C++案例四:简易记事本程序
  • 【VUE学习】day03-过滤器filter
  • 技术成神之路:设计模式(八)责任链模式
  • 【Zynq UltraScale+ RFSoC】~~~
  • STM32之八:IIC通信协议
  • mysql的数据往hive进行上报时怎么保证数据的准确性和一致性
  • 问题:4、商业保险与政策性保险的主要不同之处是:经营主体不同、经营目标不同、承保机制不同。 #学习方法#其他#学习方法
  • Getx学习笔记之中间件鉴权
  • 介绍 Elasticsearch 中的 Learning to Tank - 学习排名
  • 2024年计算机软考中级【硬件工程师】面试题目汇总(附答案)
  • ThinkPad改安装Windows7系统的操作步骤
  • 微软Edge浏览器全解析教程
  • 【过题记录】7.20