当前位置: 首页 > news >正文

云和集群有什么区别?

我们常说的集群是针对于某项单独的功能或者说是某几个功能的集合体。

举个例子,比方有100台机器组成一个集群,这个集群里面50台机器装了hadoop,10台机器装了spark,剩下40台机器再装一个查询引擎presto。诸如此类,把多项能力整合成一个服务器组,交付并服务于某一个项目或者是某一个事业单位。

而云,它其实就相当于是在集群和用户之间设立了一道墙,这个墙的目的是为了整合各种集群资源,并对外提供服务,我们日常所接触到的云,通常都以saas服务存在,或者可以把云本身看作是一个应用服务,归根结底是协助用户方把原本只能运行在相对于云而言固定的集群上的开发需求分摊开,至于分摊到哪种程度,就看这个云的大小了,至于它内部是怎么集成,这个云下的各种集群相互之间又是怎么调用,这就是这个云,也就是应用程序底层的逻辑控制了,用户侧只需要关心的是在saas页面上提交当前云能够处理的任务需求即可。

以博主之前工作中遇到的一个云举例,云下挂了八套集群,这八套集群里有hadoop、hive、spark、 flink、presto这几种能力,其中hadoop和hive不止一套,云提供了一个saas服务的页面,所有的操作都要携带三个认证要素分别是权限组、组下用户和集群名称,比方说我现在要建立一个hive表,按照操作要求,只需要建表的时候,通过拼接location路径的方式告诉云,我这张表,要存在云下哪个集群,数据权限方是谁,哪个命名空间下以及它的表名是什么即可。当然,此时表名这种重要的元数据信息,就从原来的单个集群之中唯一变成了云中唯一,至于怎么校验就是云自身的底层去处理了。

此外,在云和集群之间有一个趣事,就是想赚钱就玩云,说的是如果你只玩集群,那么这个集群通常是要交付给顾客的,就是说从机器的采购到服务的搭建,最后再到项目的开发整一套流程搞完,到手里其实就剩不了多少了,因为机器本身可能就占了整个项目收益的一半,这还不算宽带、运维、安防组件,等等杂七杂八的东西,而上了云就不一样了,因为不需要给用户交付那么多的东西,说白了就是卖服务,当然,这里面有个特例,就是如果你买的是私有云,通常价格比较昂贵,因为它的成本核算流程和玩集群的是一样的,但是公有云往往就没有那么昂贵了,这是因为目前业界,公有云是最容易耍小九九的玩意,最常见的就是超卖,就是说可能这个云下有500台机器,组成了一个庞大的计算能力,但是卖给用户的时候,没有哪个用户说用1t足够开发,那就买只1t了,这就导致向a用户卖出去的底层资源,很可能又卖给了b用户,说白了,卖方就是在赌,用户不会把买的集群资源使用率憋满,如果真的憋满了,那卖方也有理由,最常用的理由往往就是流量过大做限制了,这个时候就比较难受,你跑任务还是干其他的事情,往往会因为文件磁盘读写IO流不够而报错😅😅

http://www.lryc.cn/news/427859.html

相关文章:

  • 无人机视角下的EasyCVR视频汇聚管理:构建全方位、智能化的AI视频监控网络
  • 数字影像技术是如何改变我们看待世界的方式呢?
  • Chainlit实现启动页面选择不同的LLM启动器等设置界面
  • SQL - 增、改、删
  • 怎么屏蔽电脑监控软件?企业管理者的智慧选择——精准定位,合理屏蔽,让监控软件成为助力而非障碍!
  • Linux·权限与工具-make
  • C++的序列容器——数组
  • TCC 和 XA 协议之间的区别?
  • 萌啦数据插件使用情况分析,萌啦数据插件下载
  • C++初学(13)
  • 目标检测之数据增强
  • 本地下载安装WampServer结合内网穿透配置公网地址远程访问详细教程
  • 一篇文章理清Java持久化脉络(关于JDBC、JPA、Hibernate、Spring Data JPA)
  • 【数学分析笔记】第2章第1节实数系的连续性(1)
  • Speech Synthesis (LASC11062)
  • 拟合与插值|线性最小二乘拟合|非线性最小二乘拟合|一维插值|二维插值
  • 《python语言程序设计》2018版第7章第05题几何:正n边形,一个正n边形的边都有同样的长度。角度同样 设计RegularPolygon类
  • 使用Virtio Driver实现一个计算阶乘的小程序——QEMU平台
  • 【PyCharm】配置“清华镜像”地址
  • IO器件性能评估
  • 在js中判断对象是空对象的几种方法
  • 【整理】后端接口设计和优化相关思路汇总
  • docker 部署 sql server
  • 微信云开发云存储 下载全部文件
  • 1、巡线功能实现(7路数字循迹)
  • 来了...腾讯内推的软件测试面试PDF 文档(共107页)
  • Android大脑--systemserver进程
  • python项目部署:Nginx和UWSGI认识
  • 【区块链+金融服务】农业大宗供应链线上融资平台 | FISCO BCOS应用案例
  • 2025ICASSP Author Guidelines