Numbers everyone should know

Transcript

1. Numbers everyone should know 2021.9.17@a2ito
2. Overview • Google 社の天才エンジニア Jeff Dean が発表した、すべ てのエンジニアが知っておくべき数字を紹介 • 元ネタ ◦ Designing distributed systems using NALSD flashcards ▪ May 2, 2020 ▪ https://cloud.google.com/blog/products/management-tool s/sre-principles-and-flashcards-to-design-nalsd
3. 背景 • 分散システムをどう設計するか？ ◦ オーガニックに育てる ◦ PoCしてみる • Google では NALSD というメソッドを使う
4. NALSD • Non-Abstract Large System Design ◦ 非抽象的な大規模システム設計 ◦ 具体性をもって正しくシステムを設計しなければ、現実世界に対応できないシステムが出来上 がる • 詳細は、SREワークブック参照
5. NALSDさわり • NALSDは２フェーズから成る ◦ １．原理的にうまく働く設計を考える ▪ 実現可能か？ ▪ もっとうまいやり方はないか？ ◦ ２．基本設計のスケールアップ ▪ 現実的か？ ▪ 弾力性があるか？ ▪ もっとうまいやり方がないか？
6. 例１． • 画像を保存するサーバを設計 • どの程度の書き込み処理速度を達成できるか？ ◦ ストレージレイヤには制限があるかもしれない ◦ disk seek や write throughput を知ることはボトルネックの特定に非常に有用
7. 例２． • low-latency なメタデータ検索サービス • ボトルネックはメモリ、CPU ◦ メモリは、インデックス保持のために使われており、 CPUは実際の検索に使われる • ボトルネックを見つけ出すために、CPUキャッシュやメインメモリのアクセス速度 を参考とする ◦ ネットワークスループットはあまり気にしないだろう • システムをスケールしていくと、ボトルネックが変わり得る ⇒分散システムにおける全コンポーネントを推定できることが望ましい
8. The numbers everyone should know • サーバや他のコンポーネントにおける共通のアクションを示す数値 • Jeff Dean の講義 (November 10, 2010) ◦ https://www.youtube.com/watch?v=modXC5IWTJI&t=3570s • オリジナルは、Peter Norvig の記事（と思う） ◦ http://norvig.com/21-days.html#answers
9. The numbers everyone should know 1/4 CPU/キャッシュ • L1 cache reference 1 ns (0.5 ns) • Branch misprediction(CPU分岐予測のミス) 3 ns (5 ns) • L2 cache reference 4 ns (7 ns) • Mutex lock/unlock 17 ns (25 ns)
10. The numbers everyone should know 2/4 RAM • Main memory reference 100 ns (100 ns) • Compress 1kB with Zippy 2,000 ns (3,000 ns) • Read 1 MB sequentially from memory 10,000 ns (250,000 ns)
11. The numbers everyone should know 3/4 ディスク • SSD 4kB Random Read 0.02 ms • Read 1 MB sequentially from SSD 1 ms -> 1 GB/s • Read 1 MB sequentially from disk 5 ms -> 200 MB/s • Disk seek 10 ms (10 ms)
12. The numbers everyone should know 4/4 ネットワーク • Send 2k bytes over 10 Gbps network 16,000 ns (20,000 ns※) • Round trip within same datacenter 0.5ms/500,000 ns (500,000 ns) ◦ 2000 round trips/s ◦ カリフォルニア・オランダ間の通信は約 300 倍の時間がかかる (150 ms)
13. The numbers everyone should know サマリ • HDD ～200 MB per second • SSD ～1GB per second • main memory ～100GB per second • 10Gbps Ethernet ～1,000MB per second
14. The lessons（参考） • Writes are 40 times more expensive than reads. • Global shared data is expensive. This is a fundamental limitation of distributed systems. The lock contention in shared heavily written objects kills performance as transactions become serialized and slow. • Architect for scaling writes. • Optimize for low write contention. • Optimize wide. Make writes as parallel as you can. http://highscalability.com/numbers-everyone-should-know Feb, 2009
15. What is the overall latency of retrieving 30 256kB images from one server?
16. What is the overall latency of retrieving 30 256kB images from one server? • 画像読み込み回数　15回 ◦ 30 images / 2 disks per machine = 15
17. What is the overall latency of retrieving 30 256kB images from one server? • 画像読み込み回数　15回 ◦ 30 images / 2 disks per machine = 15 • HDDから画像1枚を読み込む時間　11.28 ms ◦ (256KB / 1MB) * 5 ms + 10 ms seek = 11.28 ms
18. What is the overall latency of retrieving 30 256kB images from one server? • 画像読み込み回数　15回 ◦ 30 images / 2 disks per machine = 15 • HDDから画像1枚を読み込む時間　11.28 ms ◦ (256KB / 1MB) * 5 ms + 10 ms seek = 11.28 ms • トータル時間　169.2 ms ◦ 15 reads * 11.28 ms = 169.2 ms
19. What is the overall latency of retrieving 30 256kB images from one server? • 画像読み込み回数　15回 ◦ 30 images / 2 disks per machine = 15 • HDDから画像1枚を読み込む時間　11.28 ms ◦ (256KB / 1MB) * 5 ms + 10 ms seek = 11.28 ms • トータル時間　169.2 ms ◦ 15 reads * 11.28 ms = 169.2 ms 1000 ms / 169.2 ms ≒ 5 => 1秒あたり 5 つの画像を取得できる
20. Flashcards for SRE • https://danrl.com/sre-flash-cards/SRE%20Flash%20Cards.pdf • Enjoy!
21. おさらい
22. Speed Read sequentially from disk
23. 200 MB/s
24. Speed Read sequentially from memory
25. 100 GB/s
26. Speed Round trips within same data center per second?
27. 2000 rt/s