当前位置: 首页 > news >正文

Apach Ozone部署

前言

最近由于工作需要,要部署一套ozone。我自己对hadoop这套体系不是很熟悉,所以过程磕磕碰碰,好不容易勉强搭起来,所以记录一下部署方式

准备

三台主机,主机均已安装jdk、hdfs,相关的安装配置就不另外写了,网上很多教程。

本次安装部署版本为当前最新的ozone-1.3.0版

部署步骤

1、ozone官网下载安装包,ozone有多种安装方式(docker、二进制包、源码编译等)。这里用二进制包安装方式。下载地址:Apache Ozone。这里下载了1.3.0版。ozone-1.3.0.tar.gz

2、上传到服务器:

部分服务器没有szrz命令的,可以通过scp命令进行复制:

scp ozone-1.3.0.tar.gz username@remote_ip:~/

解压

tar zxvf ozone-1.3.0.tar.gz

3、生成配置文件

进入ozone目录

cd  ozone

生成配置文件ozone-site.xml到etc/hadoop目录下

bin/ozone genconf etc/hadoop

PS:如果生成配置文件前/etc/hadoop已存在ozone-site.xml,则先行删除。

4、规划各机器职责并完成配置文件的配置

规划ozone的Ozone Manager(OM)、Storage Container Manager(SCM)、Datanodes服务分别部署在哪些机器上。假设在a主机上启动OM、SCM服务,a、b、c上启动Datanodes服务。

在ab、c主机上创建元数据存储文件夹

mkdir -p 自定义目录/ozonedata/meta

在a、b、c主机上分别创建数据存储文件夹

mkdir -p 自定义目录/ozonedata/data

配置etc/hadoop/ozone-site.xml

<?xml version="1.0" encoding="UTF-8" standalone="yes"?>
<configuration><property><name>ozone.om.address</name><value>A主机ip</value><tag>OM, REQUIRED</tag></property><property><name>ozone.metadata.dirs</name><value>用户目录/ozonedata/meta</value><tag>OZONE, OM, SCM, CONTAINER, STORAGE, REQUIRED</tag></property><property><name>ozone.scm.client.address</name><value>A主机ip:9860</value><tag>OZONE, SCM, REQUIRED</tag></property><property><name>ozone.scm.names</name><value>A主机ip</value><tag>OZONE, REQUIRED</tag></property><property><name>ozone.scm.datanode.id.dir</name><value>用户目录/ozonedata/data</value></property><property><name>ozone.enabled</name><value>true</value></property><property><name>ozone.scm.datanode.id</name><value>用户目录/ozonedata/data/datanode.id</value></property>
</configuration>

配置etc/hadoop/core-site.xml

<configuration><property><name>fs.AbstractFileSystem.o3fs.impl</name><value>org.apache.hadoop.fs.ozone.OzFs</value></property><property><name>fs.defaultFS</name><value>o3fs://bucket.volume</value></property>
</configuration>

在A主机上启动OM、SCM和datanode

到ozone-1.3.0/bin目录下执行

./ozone --daemon start scm
./ozone --daemon start om
./ozone --daemon start datanode

B、C主机下启动datanode

到ozone-1.3.0/bin目录下执行

./ozone --daemon start datanode

可以到ozone-1.3.0/logs目录下查看是否启动成功。由于datanode使用ratis协议,所以至少要部署3个节点,否则写入数据的时候会报:

INTERNAL_ERROR Allocated 0 blocks. Requested 1 blocks

验证

尝试创建一个卷(volume):

./ozone sh volume create volume

在卷下面创建一个桶(bucket):

./ozone sh bucket create volume/bucket

在桶下面往key写入一个文件:

./ozone sh key put volume/bucket/mykey1 用户目录/ozone-1.3.0/etc/hadoop/ozone-site.xml

之后通过查看桶下面的key,以及myKey1下的文件内容,验证是否写入成功

./ozone sh key ls volume/bucket
./ozone sh key cat volume/bucket/mykey1

小结

本文主要介绍了ozone的基本部署。ozone还有很多高可用、安全性等等的配置值得深入研究,因为笔者还没有需要使用,所以暂时没有去研究,有兴趣的读者也可以参考官网文档:https://ozone.apache.org/docs/1.3.0/zh/index.html

 

http://www.lryc.cn/news/242589.html

相关文章:

  • 【nlp】3.2 Transformer论文复现:1. 输入部分(文本嵌入层和位置编码器)
  • 自动化部署 / 扩容openGauss —— Ansible for openGauss
  • Go 实现网络代理
  • Redis报错:JedisConnectionException: Could not get a resource from the pool
  • 【广州华锐互动】Web3D云展编辑器能为展览行业带来哪些便利?
  • Vue项目实战之一----实现分类弹框效果
  • Vue解析器
  • Spring Cloud 版本升级遇坑记:OpenFeignClient与Gateway的恩怨情仇
  • 面试:Docker相关问题
  • 移动端浏览器 jquery 获取 pdf blob文件流 预览pdf
  • Redis并发问题解决方案
  • 读取两个文件夹里不同名的文件,处理映射不对应的文件
  • SpringCloud原理-OpenFeign篇(四、请求原理)
  • 什么是工业物联网(IOT)?这样的IOT平台你需要吗?——青创智通
  • MTK Pump Express 快速充电原理分析
  • leetcode刷题记录——1991. 找到数组的中间位置
  • 跨域攻击分析和防御(上)
  • GEE:梯度提升树(Gradient Boosting Tree)分类教程(样本制作、特征添加、训练、精度、参数优化、贡献度、统计面积)
  • ubuntu22.04 arrch64版在线安装redis
  • 篮桥云课-摆玩具
  • 【python】python进阶知识点
  • LeetCode算法题解(动态规划)|LeetCode322. 零钱兑换、LeetCode279. 完全平方数
  • Python Web开发基础知识篇
  • 企业计算机服务器中了360勒索病毒怎么办,360勒索病毒解密文件恢复
  • LeetCode无重复字符的最长字符串的Java实现
  • opencv-图像平滑
  • 【开源】基于Vue.js的天然气工程运维系统的设计和实现
  • 数据丢失抢救神器之TOP10 Android 数据恢复榜单
  • 梨花声音教育,动作电影中配音也能带来听见“冲击力”
  • Elaticsearch学习