CHAPTER 2: 《BACK-OF-THE-ENVELOPE ESTIMATION》 第2章 《初略的估计》
CHAPTER 2: BACK-OF-THE-ENVELOPE ESTIMATION
在系统设计面试中，有时您会被要求估计系统容量或使用粗略估计的性能需求。根据杰夫·迪恩的说法，谷歌高级研究员，“粗略的计算是你使用结合思想实验和常见的性能数字，以获得良好的感觉,哪些设计能满足你的要求?[1]
您需要对可伸缩性基础知识有很好的了解，才能有效地执行系统的后端估计。以下概念应该很好地理解:两个two[2]的幂;每个程序员都应该知道延迟数和可用性数。
2的幂 Power of two
尽管在处理分布式系统时数据量会变得非常大，所有的计算都归结为基础。为了得到正确的计算，关键是要知道数据体积单位采用2的幂。一个字节是由8位组成的序列。ASCII字符
使用一个字节的内存(8位)。下表解释了数据量单位.
| 幂 | 近似值 | 全名 | 短名称 |
|---|---|---|---|
| 10 | 1000年 | 前字节 | 1KB |
| 20 | 百万年 | 兆字节 | 1MB |
| 30 | 10万亿年 | GB字节 | 1GB |
| 40 | 1万亿年 | TB字节 | 1TB |
| 50 | 1000万亿年 | PB字节 | 1PB |
每个程序员都应该知道延迟数据 Latency numbers every programmer should know
谷歌的Dean博士揭示了2010年典型计算机操作的时长[1]。一些随着计算机变得更快、更强大，数字已经过时了。然而,这些数字应该还是能给我们一个快慢不同的概念电脑操作。
| 操作名称 | 时间 |
|---|---|
| 1级缓存引用 | 0.5ns |
| 分支 mispredict | 5ns |
| 2级缓存引用 | 7ns |
| 互斥锁/解锁 | 100ns |
| 主存引用 | 100ns |
| 用zippy压缩1k字节 | 10,000ns=10μs |
| 通过1GB网络传输2KB字节 | 20,000ns = 20μs |
| 内存按照顺序读取1MB | 250,000ns=250μs |
| 同一个数据中心内的往返 | 500,000ns = 500μs |
| 磁盘寻找 | 10,000.000ns=10ms |
| 从网络中读取1MB | 10,000.000ns=10ms |
| 从硬盘中读取1MB | 30,000.000ns=30ms |
| 发送数据包CA(加利福尼亚)->荷兰->CA | 150,000.000ns=150ms |
笔记
Ns =纳秒，
µs =微秒，
ms =毫秒
1秒= 10^-9秒 1µs= 10^-6秒= 1,000 ns 1毫秒= 10^-3秒=1,000µs = 1,000,000毫秒
谷歌的一位软件工程师开发了一个工具，将迪恩博士的数据可视化。这个工具还需要考虑到时间因素。截止年的可视化时延数字如figure2-1所示 2020年(数据来源:参考资料[3])。
通过分析图2-1中的数字，我们可以得出以下结论:
- 内存快，磁盘慢。
- 尽可能避免磁盘查找。
- 简单的压缩算法速度快。
- 如果可能的话，在通过互联网发送数据之前压缩数据。
- 数据中心通常位于不同的区域，数据在数据中心之间传输需要一定的时间。
可用性数据 Availability numbers
高可用性是系统在理想的长时间内持续运行的能力一段时间。高可用性是以百分比来衡量的，100%意味着服务可以零停机时间。大多数服务都在99%到100%之间。服务水平协议(SLA)是服务提供者常用的术语。这是一个您(服务提供商)与您的客户之间的协议，以及本协议正式定义服务将交付的正常运行时间级别。云提供商亚马逊[4]，谷歌[5]和Microsoft[6]将它们的sla设置为99.9%或更高。正常运行时间通常是用九来衡量。9越多越好。如表2-3所示9与预期的系统停机时间相关。
| 可用性 | 每天停机时间 | 每年停机时间 |
|---|---|---|
| 99% | 14.40分钟 | 3.65日 |
| 99.9% | 1.44分钟 | 8.77小时 |
| 99.99% | 8.64秒 | 52.60分钟 |
| 99.999% | 864毫秒 | 5.62分钟 |
| 99.9999% | 86.4毫秒 | 31.56秒 |
示例:估计Twitter QPS和存储需求请注意，以下数字仅用于此练习，
因为它们不是实数从Twitter。
假设:
• 3亿月活跃用户。
• 50%的用户每天使用Twitter。
• 用户平均每天发布2条tweet。
• 10%的推文包含媒体内容。
• 数据存储5年。
估计:
每秒查询(QPS)估计:
• 日活跃用户(DAU) = 3亿* 50% = 1.5亿
• 推文QPS = 1.5亿* 2条推文/ 24小时/ 3600秒= ~3500
• Peek QPS = 2 * QPS = ~7000
这里我们只估算媒体存储空间。
• 平均tweet大小:
• tweet_id 64字节
• 文本140字节
• 媒体1mb
• 媒体存储:1.5亿* 2 * 10% * 1mb = 30tb /天
• 5年介质存储:30tb * 365 * 5 = ~ 55pb
提示 Tips
粗略估计是关于过程的。解决问题更重要比取得成果更重要。面试官可能会测试你解决问题的能力。
这里有以下是一些建议:
- 舍入和近似。做复杂的数学运算很困难在面试中。例如，“99987 / 9.1”的结果是什么?没有必要花宝贵的时间解决复杂的数学问题。精度不被期望。使用对你有利的四舍五入和近似值。除法问题可以是简化为:“100,000 / 10”。
- 写下你的假设。把你的假设写下来是个好主意后引用。
- 标注你的单位。当你写下“5”时，它的意思是5 KB还是5 MB?你可能会把自己弄糊涂。写下单元，因为“5mb”有助于删除歧义。
- 常用的粗略估计:QPS、峰值QPS、存储、缓存、服务器数量等。你可以在准备考试时练习这些计算方法面试。熟能生巧。
恭喜你走了这么远!现在给自己点鼓励吧。好工作!
参考资料
[1] J. Dean.Google Pro Tip: Use Back-Of-The-Envelope-Calculations To Choose The Best
Design:
http://highscalability.com/blog/2011/1/26/google-pro-tip-use-back-of-the-envelope-calculations-to-choo.html
[2] System design primer: https://github.com/donnemartin/system-design-primer
[3] Latency Numbers Every Programmer Should Know:
https://colin-scott.github.io/personal_website/research/interactive_latency.html
[4] Amazon Compute Service Level Agreement:
https://aws.amazon.com/compute/sla/
[5] Compute Engine Service Level Agreement (SLA):
https://cloud.google.com/compute/sla
[6] SLA summary for Azure services: https://azure.microsoft.com/en-us/support/legal/sla/summary