Numbers everyone should know 2021.9.17@a2ito

Overview ● Google 社の天才エンジニア Jeff Dean が発表した、すべ てのエンジニアが知っておくべき数字を紹介 ● 元ネタ ○ Designing distributed systems using NALSD flashcards ■ May 2, 2020 ■ https://cloud.google.com/blog/products/management-tool s/sre-principles-and-flashcards-to-design-nalsd

背景 ● 分散システムをどう設計するか？ ○ オーガニックに育てる ○ PoCしてみる ● Google では NALSD というメソッドを使う

NALSD ● Non-Abstract Large System Design ○ 非抽象的な大規模システム設計 ○ 具体性をもって正しくシステムを設計しなければ、現実世界に対応できないシステムが出来上 がる ● 詳細は、SREワークブック参照

NALSDさわり ● NALSDは２フェーズから成る ○ １．原理的にうまく働く設計を考える ■ 実現可能か？ ■ もっとうまいやり方はないか？ ○ ２．基本設計のスケールアップ ■ 現実的か？ ■ 弾力性があるか？ ■ もっとうまいやり方がないか？

例１． ● 画像を保存するサーバを設計 ● どの程度の書き込み処理速度を達成できるか？ ○ ストレージレイヤには制限があるかもしれない ○ disk seek や write throughput を知ることはボトルネックの特定に非常に有用

例２． ● low-latency なメタデータ検索サービス ● ボトルネックはメモリ、CPU ○ メモリは、インデックス保持のために使われており、 CPUは実際の検索に使われる ● ボトルネックを見つけ出すために、CPUキャッシュやメインメモリのアクセス速度 を参考とする ○ ネットワークスループットはあまり気にしないだろう ● システムをスケールしていくと、ボトルネックが変わり得る ⇒分散システムにおける全コンポーネントを推定できることが望ましい

The numbers everyone should know ● サーバや他のコンポーネントにおける共通のアクションを示す数値 ● Jeff Dean の講義 (November 10, 2010) ○ https://www.youtube.com/watch?v=modXC5IWTJI&t=3570s ● オリジナルは、Peter Norvig の記事（と思う） ○ http://norvig.com/21-days.html#answers

The numbers everyone should know 1/4 CPU/キャッシュ ● L1 cache reference 1 ns (0.5 ns) ● Branch misprediction(CPU分岐予測のミス) 3 ns (5 ns) ● L2 cache reference 4 ns (7 ns) ● Mutex lock/unlock 17 ns (25 ns)

The numbers everyone should know 2/4 RAM ● Main memory reference 100 ns (100 ns) ● Compress 1kB with Zippy 2,000 ns (3,000 ns) ● Read 1 MB sequentially from memory 10,000 ns (250,000 ns)

The numbers everyone should know 3/4 ディスク ● SSD 4kB Random Read 0.02 ms ● Read 1 MB sequentially from SSD 1 ms -> 1 GB/s ● Read 1 MB sequentially from disk 5 ms -> 200 MB/s ● Disk seek 10 ms (10 ms)

The numbers everyone should know 4/4 ネットワーク ● Send 2k bytes over 10 Gbps network 16,000 ns (20,000 ns※) ● Round trip within same datacenter 0.5ms/500,000 ns (500,000 ns) ○ 2000 round trips/s ○ カリフォルニア・オランダ間の通信は約 300 倍の時間がかかる (150 ms)

The numbers everyone should know サマリ ● HDD ～200 MB per second ● SSD ～1GB per second ● main memory ～100GB per second ● 10Gbps Ethernet ～1,000MB per second

The lessons（参考） ● Writes are 40 times more expensive than reads. ● Global shared data is expensive. This is a fundamental limitation of distributed systems. The lock contention in shared heavily written objects kills performance as transactions become serialized and slow. ● Architect for scaling writes. ● Optimize for low write contention. ● Optimize wide. Make writes as parallel as you can. http://highscalability.com/numbers-everyone-should-know Feb, 2009

What is the overall latency of retrieving 30 256kB images from one server?

What is the overall latency of retrieving 30 256kB images from one server? ● 画像読み込み回数　15回 ○ 30 images / 2 disks per machine = 15

What is the overall latency of retrieving 30 256kB images from one server? ● 画像読み込み回数　15回 ○ 30 images / 2 disks per machine = 15 ● HDDから画像1枚を読み込む時間　11.28 ms ○ (256KB / 1MB) * 5 ms + 10 ms seek = 11.28 ms

What is the overall latency of retrieving 30 256kB images from one server? ● 画像読み込み回数　15回 ○ 30 images / 2 disks per machine = 15 ● HDDから画像1枚を読み込む時間　11.28 ms ○ (256KB / 1MB) * 5 ms + 10 ms seek = 11.28 ms ● トータル時間　169.2 ms ○ 15 reads * 11.28 ms = 169.2 ms

What is the overall latency of retrieving 30 256kB images from one server? ● 画像読み込み回数　15回 ○ 30 images / 2 disks per machine = 15 ● HDDから画像1枚を読み込む時間　11.28 ms ○ (256KB / 1MB) * 5 ms + 10 ms seek = 11.28 ms ● トータル時間　169.2 ms ○ 15 reads * 11.28 ms = 169.2 ms 1000 ms / 169.2 ms ≒ 5 => 1秒あたり 5 つの画像を取得できる

Flashcards for SRE ● https://danrl.com/sre-flash-cards/SRE%20Flash%20Cards.pdf ● Enjoy!

おさらい

Speed Read sequentially from disk

200 MB/s

Speed Read sequentially from memory

100 GB/s

Speed Round trips within same data center per second?

2000 rt/s