当前位置: 首页 > news >正文

宣布 Databricks 支持 Amazon Graviton2,性价比提高3倍

今天,我们很高兴地宣布 Databricks 对基于 Amazon Graviton2 的亚马逊弹性计算云(Amazon EC2)实例的支持的公开预览。Graviton 处理器由亚马逊云科技进行定制设计和优化,为运行在 Amazon EC2 上的云工作负载提供最佳性价比。当与高性能 DataRicks 查询引擎 Photon一起使用时,基于 Graviron2 的亚马逊 EC2 实例可以为您的 data lakehouse 工作负载提供比同类亚马逊 EC2 实例高3-4倍的性价比。在这篇博文中,我们将介绍 Photon 与 Graviton2的性价比,并为您提供进一步降低亚马逊云科技基础设施成本的其他建议。

Photon 和 Graviton2 的性价比

为了确定 Photon 和 Graviton2 的性价比,我们在基于 Graviton2 的 R6gd EC2 实例和类似的 I3 EC2 实例上进行了一个简单测试,运行两种不同的工作负载(TPC-DS 和带有批量插入和合并语句的标准 ETL 工作负载)。我们发现,对于 EC2 实例,仅 Photon 引擎就显著提高了性价比。但基于 Graviton2 的实例上的 Photon 更进一步,与 I3 实例上以前的 Databricks 运行时相比,ETL 工作负载的性价比提高了3.3倍,TPC-DS 工作负载的性价比提高了3.7倍。尝试基于 Graviton2 实例的客户报告了类似的结果,并分享了我们的兴奋!下面是一位 Databricks 客户的一句话,他碰巧对基于实例的 Arm 了如指掌。

亚马逊云科技开发者社区为开发者们提供全球的开发技术资源,这里有技术文档、开发案例.技术专栏、培训视频、活动与竞赛等。帮助中国开发者对接世界最前沿技术,观点,和项目,并将中国优秀开发者或技术推荐给全球云社区。如果你还没有关注/收藏,看到这里请一定不要匆匆划过,点这里让它成为你的技术宝库!

Arm 生产力工程业务副总裁 Mark Galbraith 说:“云计算正在推动半导体设计领域的重大创新,通过将我们的设计工作量转移到基于 Arm 的 Amazon Graviton2 实例上,提供显著的性价比提升,我们亲眼看到了 Arm Neoverse N1 平台带来的好处。”。“这一点对于 Graviton 2 上的 Databricks 尤为明显,我们期待着将 Databricks 的生产使用迁移到 Graviton 2 上,以进一步增强用户体验并降低成本。”

Photon 和 Graviton2 的性价比比较

通过 Amazon EC2 Spot 实例和 Amazon EBS gp3 卷支持,进一步节约了成本

除了 Graviton2 和 Photon 之外,还有其他方法可以提高 Amazon Web Services 上 Databricks 工作负载的性价比。这些措施包括:

Amazon EC2 Spot Instances–Spot Instances 可让您充分利用 EC2 的闲置容量,与按需价格相比,可享受高达 90% 的折扣。根据工作负载的性质,您可以使用 Spot 实例替换 DataRicks 集群中的按需或保留 EC2 实例,从而节省成本。

Amazon EBS gp3 卷——存储可能是云基础设施成本的一大部分。Databricks 支持 gp3 卷

(https://databricks.com/blog/2021/08/10/introducing-support-for-gp3-amazons-new-general-purpose-ssd-volume.html)。Amazon Elastic Block Store(Amazon EBS)的 gp3 SSD 卷使您能够提供独立于存储容量的性能,每 GB 的性价比比现有的 gp2 卷高20%。

要了解有关性价比优化的更多信息,请阅读我们的群集最佳实践文档。

(https://docs.databricks.com/clusters/cluster-config-best-practices.html?_ga=2.39323047.586000877.1650811897-1256218973.1650811879)

从 Graviton 开始

基于 Amazon Gravion2 的公共预览实例支持目前正在推出,并将在未来几周在所有受支持的地区提供。要开始并获得迁移到 Graviton 2 和 Photon 的指导,请阅读我们的 Graviton 文档

https://docs.databricks.com/clusters/graviton.html?_ga=2.5702327.586000877.1650811897-1256218973.1650811879

作者:Piyush Singh , Mostafa Mokhtar , Shankar Sivadasan

文章来源:

https://dev.amazoncloud.cn/column/article/62da86844052060f39e401ab?sc_channel=CSDN

http://www.lryc.cn/news/18097.html

相关文章:

  • 18_FreeRTOS任务通知
  • 【华为OD机试模拟题】用 C++ 实现 - 整理扑克牌(2023.Q1)
  • mysql lesson1
  • 联想笔记本无法下载 Lenovo Vantage
  • 功能性材料深入超级赛道,赋能多行业迭代升级
  • 【项目精选】jsp企业快信系统(论文+视频+源码)
  • 通信算法之112:载波同步及comm.CarrierSynchronizer
  • 【C. Build Permutation】(整数理论、构造、思维)
  • 前端面试题:事件循环(Eventloop)
  • jmeter接口自动化测试框架
  • 树莓派CM4基础设置
  • JS 合并数组的三大方式
  • 30岁测试开发年薪不足50万,被面试官嘲讽混得太差?
  • 【C语言】多线程
  • CDGA|浅谈“以治促用,以用促治”的数据治理战略
  • Apifox-比postman更优秀的接口自动化测试平台
  • 周期矩形波的傅里叶级数展开(Matlab代码实现)
  • 前端预防XSS攻击全攻略
  • JUC(一)
  • API接口——睡眠带开放能力
  • 面向对象的一点小想法
  • 数据仓库工作问题总结
  • Java常用算法
  • 插画网课平台排名
  • 雷达、定位、跟踪等信号处理邻域SCI期刊整理及推荐
  • NDK C++ 指针常量 常量指针 常量指针常量
  • 常见前端基础面试题(HTML,CSS,JS)(一)
  • Delphi RSA加解密
  • oracle基本操作
  • hive只复制表结构不复制表数据