当前位置: 首页 > news >正文

干翻Hadoop系列之:Hadoop前瞻之分布式知识

前言

一:海量数据价值

在这里插入图片描述

二:海量数据两个棘手问题

1:海量数据如何存储?

掌握分布式存储数据的思想。

A:方案1:单机存储磁盘不够加磁盘

限制问题:
1:一台计算机不能无限制拓充
2:拓充的很多之后,计算机进行多磁盘寻址的问题。
1TB硬盘,100MB存储速度的时候

B:方案2:分布式存储

一台机器存不下,多台机器共同存储,读取数据时,多台数据同时读取数据。

三:海量数据如何计算

传统计算方式,时间很长,效率很低,能不能搞出来都是个问题。

解决方案:多台计算机同时计算,进行分布式计算。

第一章:大数据知识补充

一:大数据业务分析步骤

二:大数据部门介绍

在这里插入图片描述

第二章:分布式技术栈

一:分布式概念

1:单机到分布式

访问量变高,单机扛不住
在这里插入图片描述

2:海量数据单机存不下、算不了

多线程计算,把CPU和内存榨干也是有上限瓶颈的。单机计算能力是受到物理硬件上限的限制。
在这里插入图片描述

二:分布式系统概述

分布式系统是一个硬件或软件组件分布在不同的网络计算机上
彼此之间仅仅通过消息传递进行通信和协调的系统。
一群互相独立计算机集合共同对外提供服务
对于系统的用户来说,就像是一台计算机在提供服务样

三:几个核心概念

1:负载均衡

概念:
Load Balance简称LB。将负载(工作任务)进行平衡、分摊到多个操作单元上进行。
说人话:
假设:单机服务最大qps为5w,现在没秒访问量有12W,单机肯定玩不转,需要加到三台机器。
图解:
在这里插入图片描述
LB强调的是分布式概念呢?还是集群概念的?
集群的概念,因为这里是LB对应的后台服务是一样的,所以更加注重的是集群的概念。

2:故障转移

什么是单点故障?
假设一个场景,我们一个门户网页,需要订单系统、商品系统、支付系统…进行支持。结果突然某台服务器嗝屁了 ,此为单点故障。

故障转移:
1:当活动的服务或者应用意外终止时,快速启用冗余设备、备用服务器实例、系统、硬件、网络接替它工作
2:故障转移也称之为容错系统,所谓容错只是可以容忍错误的发生。
3:故障转移的和核心是设置备份,出现故障时,主备切换。
4:主备切换的前提是数据状态保持一致。服务状态一致,缓存状态一致,数据存储状态一致。

3:伸缩性

伸缩线称之为弹性可拓展性。动态拓展缩减我们的后台实例数量
流量大时拓展服务器,流量小时缩减服务器。

总结:
1:负载均衡:解决一个处理不了,多个共同处理的问题
2:故障转移:解决单点故障 容忍错误发生 业务连续
3:伸缩性:动态扩容,缩容

http://www.lryc.cn/news/59023.html

相关文章:

  • MAE论文阅读《Masked Autoencoders Are Scalable Vision Learners》
  • 代码随想录算法训练营第三十四天-贪心算法3| 1005.K次取反后最大化的数组和 134. 加油站 135. 分发糖果
  • 比较系统的学习 pandas (2)
  • 怎么查看电脑主板最大支持多少内存?
  • 数据结构——线段树
  • 【C++进阶】实现C++线程池
  • Redis常用五种数据类型
  • C++ Primer第五版_第十一章习题答案(1~10)
  • GEE:使用LandTrendr进行森林变化检测详解
  • docker项目实施
  • springboot实现邮箱验证码功能
  • Java 进阶(5) Java IO流
  • “终于我从字节离职了...“一个年薪40W的测试工程师的自白...
  • 设计模式之策略模式(C++)
  • 从工厂普工到Python女程序员,聊聊这一路我是如何逆袭的?
  • 全国青少年信息素养大赛2023年python·选做题模拟二卷
  • 分布式事务Seata原理
  • 用ChatGPT怎么赚钱?普通人用这5个方法也能赚到生活费
  • ( “树” 之 DFS) 110. 平衡二叉树 ——【Leetcode每日一题】
  • nvm软件使用-同一个环境下控制多个不同node版本
  • 连续两个南航的研究生面试出了从来没出现过的问题,本科和研究生都是计算机专业的,竟然说static是不可更改的。
  • How to install nacos/nacos-server:v2.1.2-slim with docker
  • Rust社区引发舆论危机,问题到底出在哪儿?
  • C++算法恢复训练之归并排序
  • 使用Process Explorer和Clumsy工具定位软件高CPU占用问题
  • 为何巴菲特和马斯克站在了一起?
  • 企业数字化转型全是坑?这几篇数字化转型成功案例,减少70%损失
  • 13.Java面向对象----嵌套类
  • Redis数据迁移过程,使用jedis客户端发送命令,需要注意string和byte类型的命令,如果使用的转换字符编码不一致,会导致丢数据
  • 第六章 IA-32指令类型