当前位置: 首页 > news >正文

StarRocks 生产部署一套集群,存储空间如何规划?

背景:StarRocks 3.2,存储一体

使用场景:多分析、小查询多单但不高、数据量几百T

FE 存储

由于 FE 节点仅在其存储中维护 StarRocks 的元数据,因此在大多数场景下,每个 FE 节点只需要 100 GB 的 HDD 存储,生产建议200G SSD以上,FE-FOLLOWER节点也一样的配置。

BE 存储

预估 BE 初始存储空间

StarRocks 集群需要的总存储空间同时受到原始数据大小、数据副本数以及使用的数据压缩算法的压缩比的影响。
你可以通过以下公式估算所有 BE 节点所需的总存储空间:
磁盘大小一样,SSD盘,无需做RAID(多副本情况下)

BE 节点所需的总存储空间 = 原始数据大小 * 数据副本数/数据压缩算法压缩比原始数据大小 = 单行数据大小 * 总数据行数

在 StarRocks 中,一个表中的数据首先被划分为多个分区(Partition),每个分区建议10-20GB,如果分桶表建议每个分桶1GB左右,然后进一步被划分为多个 Tablet。Tablet 是 StarRocks 中基本数据管理逻辑单元。为保证数据的高可靠性,你可以为每个 Tablet 维护多个副本,存储于不同的 BE 节点。StarRocks 默认维护三个副本。
目前,StarRocks 支持四种数据压缩算法:zlib、Zstandard(或 zstd)、LZ4 和 Snappy(按压缩比从高至低排列)。这些数据压缩算法可以提供 3:1 到 5:1 的压缩比。
通过计算得到总存储空间后,你可以简单地将之除以集群中的 BE 节点数,估算出每个 BE 节点所需的平均存储空间。

随时添加额外存储空间

如果 BE 存储空间随着原始数据的增长而耗尽,可以进行以下选择。

  • 在 StarRocks 集群中添加新的 BE 节点
  • 在 BE 节点上添加额外的存储卷
  • 添加云存储空间

集群存储空间规划除了以上内容外,还要考虑磁盘阈值报警,业务数据未来增加大小等。

http://www.lryc.cn/news/508750.html

相关文章:

  • JVM执行引擎JIT深度剖析
  • 【DOCKER】基于DOCKER的服务之DUFS
  • 加密货币地址的基本概念
  • 如何在 Linux 服务器上部署 Pydio Cells 教程
  • Halcon例程代码解读:安全环检测(附源码|图像下载链接)
  • Selenium 全面指南
  • #error: WinSock.h has already been included解决方案
  • 2.Couchbase 的增量查询优化
  • 汽车IVI中控开发入门及进阶(46):FFmpeg
  • Spring Boot 中的 @Scheduled 定时任务以及开关控制
  • 服务器证书原理
  • 重温设计模式--代理、中介者、适配器模式的异同
  • 2024第十六届蓝桥杯模拟赛(第二期)-Python
  • 分布式系统中的防抖策略一致性与性能优化
  • 项目代码第6讲:UpdownController.cs;理解 工艺/工序 流程、机台信息;前端的“历史 警报/工艺 记录”
  • 【计算机视觉基础CV-图像分类】03-深度学习图像分类实战:鲜花数据集加载与预处理详解
  • 大模型应用技术系列(一):大模型应用整体技术栈浅析
  • 绿色环保木塑复合材料自动化生产线设计书
  • Sourcegraph 概述
  • c 保存 csv格式的文件
  • C语言扫雷游戏教学(有图形界面)(提供源码+实验报告)(计时+排行榜+难度选择+登录注册+背景音乐)(涉及easyX库)
  • 第五节:GLM-4v-9b模型model加载源码解读(模型相关参数方法解读)
  • 面试经验分享 | 北京渗透测试岗位
  • unity Toggle制作滑动开关
  • 全面解析 Kubernetes 流量负载均衡:iptables 与 IPVS 模式
  • 【unity】【游戏开发】Unity项目一运行就蓝屏报Watch Dog Timeout
  • 【macos java反编译工具Java Decompiler】
  • 宠物用品电子商务系统|Java|SSM|VUE| 前后端分离
  • 脑肿瘤检测数据集,对9900张原始图片进行YOLO,COCO,VOC格式的标注
  • Adversarial Machine Learning(对抗机器学习)