当前位置: 首页 > news >正文

每日一博 - MPP(Massively Parallel Processing,大规模并行处理)架构

文章目录

  • 概述
  • 优点
  • 缺点
  • 小结

在这里插入图片描述


概述

在这里插入图片描述

MPP(Massively Parallel Processing,大规模并行处理)架构是一种常见的数据库系统架构,主要用于提高数据处理性能。它通过将多个单机数据库节点组成一个集群,实现数据的并行处理。

在 MPP 架构中,MPP采用非共享架构(Share Nothing), 每个节点都拥有独立的磁盘存储和内存系统,它们在计算过程中独立运行,不需要关心整个集群的状态,也不关心其他节点存储的数据信息。

节点之间通过专用网络或商业通用网络连接,当需要使用其他节点的数据时,通过网络进行数据传输和协同计算。

在设计上,MPP架构优先考虑一致性(Consistency),其次考虑可用性(Availability),同时尽量做到分区容错性(Partition Tolerance)

MPP架构常用于数据仓库、数据集市、大数据分析等场景,其分布式设计能够有效应对数据规模的不断增长和复杂度的提高,但也会面临一些挑战。


优点

MPP 架构的优点包括:

  • . 高性能:通过并行处理,MPP 架构可以显著提高数据处理速度。
  • . 一致性:由于每个节点本质上仍然是数据库,因此 MPP 架构在设计时优先考虑一致性(C),其次考虑可靠性(A),尽量做好分区容错性(P)。这使得 MPP 架构能够保证数据的一致性。
  • 低延迟:MPP 架构中,各个节点的运算延迟相对较低。

缺点

然而,MPP 架构也存在一些缺点:

  • 扩展性:由于非共享架构,MPP 架构在存储位置上不透明,数据在存储时通过哈希确定物理节点。在执行任务时,无法确定数据的位置,因此查询任务需要在所有节点上执行。这使得 MPP 架构在扩展性方面较差,尤其是在大规模数据处理时,单节点瓶颈会成为整个系统的短板。

  • 故障率:随着集群规模的增大,节点的故障率会逐渐升高,这将导致整个系统的性能瓶颈越发明显。

当进行并行计算时,计算任务会被分发到所有节点上进行计算,单节点瓶颈会成为整个系统短板,容错性差,可能会导致整个系统的响应缓慢。另外,MPP架构本身的节点数和数据量较大,节点故障成本也较高。
在这里插入图片描述

  • 分布式事务:MPP 架构一般致力于实现分布式事务,但在分布式环境中实现事务后,扩展性一定会受到影响。

MPP架构由于节点之间分散存储,远程调用在事务处理时会有延迟,而一些事务操作需要跨越多个节点进行处理,这时分布式系统的事务处理会变得很复杂,影响系统的可扩展性。
在这里插入图片描述

小结

总之,MPP 架构是一种高性能的数据库系统架构,适用于中等规模的结构化数据处理。尽管它存在一些局限性,但在某些场景下,其性能优势仍然使其成为一个有吸引力的选择。

在这里插入图片描述

http://www.lryc.cn/news/133912.html

相关文章:

  • ssh框架原理及流程
  • eslint 配置和用法
  • 字符设备驱动实例(PWM和RTC)
  • Ribbon 源码分析
  • 【1-3章】Spark编程基础(Python版)
  • 宇宙原理:黑洞基础。
  • 分类预测 | MATLAB实现SCNGO-CNN-LSTM-Attention数据分类预测
  • Android学习之路(7) Frament
  • metallb , istio ingress 部署httpbin使用例子
  • 基于swing的销售管理系统java仓库库存信息jsp源代码mysql
  • FreeCAD傻瓜式教程之约束设定和构建实体、开孔、调整颜色等
  • 代码随想录算法训练营day41 | 343. 整数拆分,96. 不同的二叉搜索树
  • 飞天使-k8sv1.14二进制安装
  • TypeScript封装Axios
  • 指针(一)【C语言进阶版】
  • 回归预测 | MATLAB实现SA-BP模拟退火算法优化BP神经网络多输入单输出回归预测(多指标,多图)
  • springMVC 已解密的登录请求
  • 机器学习赋能乳腺癌预测:如何使用贝叶斯分级进行精确诊断?
  • Java后端开发面试题——框架篇
  • 【新版】系统架构设计师 - 系统测试与维护
  • 使用 useEffect 和 reactStrictMode:优化 React 组件的性能和可靠性
  • 商业智能BI是什么都不明白,如何实现数字化?
  • 【五子棋】
  • docker 01(初识docker)
  • 爬虫逆向实战(十九)--某号站登录
  • linux环境docker安装mysql
  • taro h5 formData上传图片的坑-Required request part ‘file‘ is not present
  • GNU GRUB version 2.06 Minimal Bash-lke line editing is supported 问题修复
  • Embedding 向量生成GPT数据使用相关
  • Jenkins工具系列 —— 配置邮箱 每个job下动态设置临时发送人