当前位置: 首页 > news >正文

数仓选型对比

1、数仓选型对比如下(先列举表格,后续逐个介绍)

数仓应用目标产品特点适用于 适用数据类型数据处理速度性能拓展 实施难度运维难度性能优化成本
传统数仓

(SQLServer、Oracle

等关系型数据库)
面向主题设计的,为
分析数据而设计
基于Oracle、
SQLServer、MySQL
等关系型数据
在复杂关联、汇总、
  事务处理方面能力
强,适合数据量小、
高可靠、数据价值密
度高的应用
多适用于结构化数据利用处理过程的中间
表,分析查询速度可
比原有速度提高3~5倍
单表上亿,性能断崖
式下跌,拓展性能差
难度普通,
技术比较成熟
相对简单优化的大致原理有2个:
一是数据分块存储,便
于数据的存储和管理;
二是中间处理,提高数
据提供的速度。
软件费用+实施费用,
成本较低
MPP数仓

(以GreenPlum为例)
在传统数仓之上搭建
并行数据库系统。充
  分发挥计算机的优
势,提高数据库系统

的整体性能
MPP架构、TB级处
理,支持大量运算;
关系型数据库
适合结构化数据的深
度分析、复杂查询以
及多变的自助分析类
  应用、数据集市等
关系数据方面有优
势,比较适合比如电
信、银行这类数据主
要以结构化存储的企

业或组织
相比传统数仓,速度
为几倍至几十倍
性能可随着硬件的扩
容呈线性增加,拥有
非常好的可扩展性,
扩展上限为几百
难度中等,
较成熟
中等技术角度:模型优化、
查询执行计划。业务角
度:全量刷新改增量刷
新,减少计算量;充分
利用已计算的指标
每2~3TB一个节点,
硬件配置不用太高,
GP产品免费,但实
施优化单价较高,成
本中等
Hadoop数仓分布式数据库系统主
要目的在于实现场地
自治和数据的全局透
明共享,而不要求利
用网络中的各个节点
来提高系统处理性能
Hadoop架构、
HDFS、MR和
Hive,支持海量运
算;非关系型数据
库;TB或更大数据
量,并发多的场景
适合海量数据存储查
询、批量数据ETL、
非结构化数据分析等
可以基于Hadoop

开发处理结构或非结
构化数据的应用,适
用于互联网领域
相比传统Oracle数
仓,速度为几倍至几
十倍(瓶颈阈值高于
MPP数仓)
  支持量高的动态扩
容,扩展上限为几千
实施难度高,
要求较高
较难Hadoop性能调优不
仅涉及Hadoop本身
的性能调优,还涉及更
底层的硬件、操作系统
  和Java虚拟机等系统
的调优
需要大量的节点支
持,实施人员需要专
业对口,同时需要对
应的非通用sql支
持,成本较高
http://www.lryc.cn/news/60003.html

相关文章:

  • 二叉树的遍历(前序、中序、后序)Java详解与代码实现
  • 如何找出消耗CPU最多的线程?
  • 【论文笔记】Attention Augmented Convolutional Networks(ICCV 2019 入选文章)
  • 虚幻图文笔记:Character Creator 4角色通过AutoSetup For Unreal Engine插件导入UE5.1的过程笔记
  • JAVAWeb04-DOM
  • C++内存管理基础知识
  • 命令执行漏洞概述
  • 【初试复试第一】脱产在家二战上岸——上交819考研经验
  • PTA:C课程设计(7)
  • POSTGRESQL LINUX 与 PG有关的内存参释义
  • Docker的常见命令
  • 详细介绍性能测试的方法(含文档)
  • 深入剖析 Qt QHash :原理、应用与技巧
  • 技术分享 | MySQL级联复制下进行大表的字段扩容
  • 工业互联网业务知识
  • jsp+java自行车租赁租借和买卖系统
  • Python3 字符串
  • Day943.持续集成流水线 -系统重构实战
  • How to use CCS to debug a running M4F core that was started by Linux?
  • 216、组合总数III
  • 简单的重装系统教程
  • 机器学习---集成学习报告
  • 教你如何将PDF文件转换成PPT演示文稿
  • 涨点技巧: 谷歌强势推出优化器Lion,引入到Yolov5/Yolov7,内存更小、效率更高,秒杀Adam(W)
  • Windows GPU版本的深度学习环境安装
  • C语言实践——通讯录(3)(文件版)
  • GPT撑腰,微软再战谷歌 | 大厂集体抢滩ChatGPT:谁真的有实力,谁在试点商业化?
  • 【消息队列】细说Kafka消费者的分区分配和重平衡
  • 【Python从入门到人工智能】14个必会的Python内置函数(7)——打印输出(详细语法参考 + 参数说明 + 具体示例)| 附:Python输出表情包
  • 为什么要创建FAQ?这篇文章告诉你