メトリックはいかにして見え續ける樣になったか #devio2022

Slide 1

Slide 1 text

メトリックはいかにして見え續ける樣になったか .｡oO(さっちゃんですよヾ(〃l _ l)ﾉﾞ☆) 2022/07 DevelopersIO 2022 1

Slide 2

Slide 2 text

.｡oO(さっちゃんですよヾ(〃l _ l)ﾉﾞ☆) id:ne-sachirou @ 株式会社はてな Mackerel のアプリケーションエンジニア curl -sI https://mackerel.io | grep X-Recruitment 2

Slide 3

Slide 3 text

Mackerel とは? 3

Slide 4

Slide 4 text

Slide 5

Slide 5 text

5 メトリックホストグラフ

Slide 6

Slide 6 text

6 メトリックロールグラフメトリック

Slide 7

Slide 7 text

Slide 8

Slide 8 text

2021/09/13 以前 8 退役したホストのメトリックは見られなくなる (※カスタムメトリックのみ)

Slide 9

Slide 9 text

2021/09/13 以後 9 退役してもカスタムメトリックが見られる

Slide 10

Slide 10 text

2021/09/13 以後 10 退役してもカスタムメトリックが見られる How?

Slide 11

Slide 11 text

11 mackerel-agent plugin システムメトリックカスタムメトリック

Slide 12

Slide 12 text

12 時系列 DB (diamond) メトリックロールグラフ用のシステムメトリックホストグラフ用のシステムメトリックホストグラフ用のカスタムメトリックホストメトリックとロールメトリックを組み合はせて表示する

Slide 13

Slide 13 text

13 時系列 DB (diamond) メトリックロールグラフ用のシステムメトリックホストグラフ用のシステムメトリックホストグラフ用のカスタムメトリックカスタムメトリックは? ホストメトリックとロールメトリックを組み合はせて表示する

Slide 14

Slide 14 text

14 時系列 DB (diamond) メトリックロールグラフ用のシステムメトリックホストグラフ用のシステムメトリックホストグラフ用のカスタムメトリックカスタムメトリックは? ホストメトリックとロールメトリックを組み合はせて表示する (代案を比較した結果) カスタムメトリックもシステムメトリックと同じ樣に保存しよう

Slide 15

Slide 15 text

15 時系列 DB (diamond) メトリックロールグラフ用のシステムメトリックロールグラフ用のカスタムメトリックホストグラフ用のシステムメトリックホストグラフ用のカスタムメトリックホストメトリックとロールメトリックを組み合はせて表示する

Slide 16

Slide 16 text

いかにしてホストメトリックとロールメトリックをうまく組み合はせるか? 16

Slide 17

Slide 17 text

17 時系列 DB (diamond) メトリックロールグラフ用のシステムメトリックロールグラフ用のカスタムメトリックホストグラフ用のシステムメトリックホストグラフ用のカスタムメトリックホストメトリックとロールメトリックを組み合はせて表示する How?

Slide 18

Slide 18 text

システムメトリックの場合 18 ロールメトリック今在るホストのホストメトリック今在るホストは? どんなロールメトリックが在る? 時系列 DB (diamond)

Slide 19

Slide 19 text

システムメトリックの場合 19 ロールメトリック今在るホストのホストメトリック今在るホストは? どんなロールメトリックが在る? 時系列 DB (diamond) 對應する對應する

Slide 20

Slide 20 text

システムメトリックの場合 20 ロールメトリック今在るホストのホストメトリック今在るホストは? どんなロールメトリックが在る? 時系列 DB (diamond) ユーザーが増やせる仕組みでない

Slide 21

Slide 21 text

21 ロールID ロールメトリック名 0 custom.a.2 1 custom.b.1 … … ホストID ホストメトリック名 1 custom.a.1 1 custom.b.1 ロール追加退役ホストID ホストメトリック名 0 custom.a.1 0 custom.a.2

Slide 22

Slide 22 text

カスタムメトリックの場合 22 22 今在るホストのホストメトリック今在るホストは? 時系列 DB (diamond)

Slide 23

Slide 23 text

カスタムメトリックの場合 23 23 今在るホストのホストメトリック今在るホストは? どんなロールメトリックが在る? 時系列 DB (diamond) どんなロールメトリックが在るかわからない

Slide 24

Slide 24 text

24 ロールID ロールメトリック名 0 custom.a.2 1 custom.b.1 … … ホストID ホストメトリック名 1 custom.a.1 1 custom.b.1 ロール追加退役ホストID ホストメトリック名 0 custom.a.1 0 custom.a.2 最近のホストを集めればロール全体のメトリックと極端には異ならない ≒ 近似できる

Slide 25

Slide 25 text

カスタムメトリックの場合 25 25 ロールメトリック今在るホストのホストメトリック今在るホストは? 今在るホストまたは最近退役したホストのカスタムメトリック ≒ ロールメトリック時系列 DB (diamond)

Slide 26

Slide 26 text

カスタムメトリックの場合 26 26 ロールメトリック今在るホストのホストメトリック今在るホストは? 今在るホストまたは最近退役したホストのカスタムメトリック ≒ ロールメトリック時系列 DB (diamond) OK

Slide 27

Slide 27 text

書き込み負荷は大丈夫か? 27

Slide 28

Slide 28 text

28 時系列 DB (diamond) メトリックロールグラフ用のシステムメトリックロールグラフ用のカスタムメトリックホストグラフ用のシステムメトリックホストグラフ用のカスタムメトリックホストメトリックとロールメトリックを組み合はせて表示する書き込み負荷は大丈夫か?

Slide 29

Slide 29 text

2021 年某日、負荷調査の爲に一部のカスタムメトリックをロールメトリックにも書き込み開始 29

Slide 30

Slide 30 text

30 時系列 DB (diamond) の使ふ Redis Cluster の cpu.engine が 100% に (※簡略表示してゐます)

Slide 31

Slide 31 text

時系列 DB (diamond) の仕組み 31 書き込み讀み出しまづ Redis Cluster へ書き込む古い世代のメトリックを DynamoDB へ移す更新されなくなったメトリックを DynamoDB へ移す TTL の切れたメトリックを S3 へ移す

Slide 32

Slide 32 text

時系列 DB (diamond) の仕組み 32 書き込み讀み出しまづ Redis Cluster へ書き込む古い世代のメトリックを DynamoDB へ移す更新されなくなったメトリックを DynamoDB へ移す TTL の切れたメトリックを S3 へ移す

Slide 33

Slide 33 text

時系列 DB (diamond) の仕組み Redis Cluster ● 複數臺の Redis node に key に從って data を分散する ● key を x{y}z とすると y の所 (hash tag) だけを見て保存する node を決める ○ 同時に讀み書きする data を同じ node に保存すると高 performence 33

Slide 34

Slide 34 text

34 (簡略表示してゐますが) cpu.engine が 100% にまで上がったのは 1 node だけ data が分散されず大きく偏った → node を増やしても解決しない

Slide 35

Slide 35 text

ロールメトリックの舊 key の構造 {オーガニゼーションID.r.1.サービスID}.ロールID.スロット番號.メトリック名 ● オーガニゼーション : サービスはオーガニゼーションに屬する ● サービス : ロールはサービスに屬する ● ロール : ホストはロールに屬する ○ ホスト∈ロール∈サービス∈オーガニゼーション ● スロット番號 : ホストに對應する。ホストが退役するとロール內で再利用される 35

Slide 36

Slide 36 text

ロールメトリックの舊 key の構造 {オーガニゼーションID.r.1.サービスID}.ロールID.スロット番號.メトリック名數千臺ホストのあるサービスのカスタムメトリックが同じ Redis node に讀み書きされる🔥 36

Slide 37

Slide 37 text

ロールメトリックの新 key の構造 {オーガニゼーションID.r.1.サービスID.ロールID.スロット番號}.メトリック名スロット番號はホストに對應するから、ホスト毎にカスタムメトリックを保存する Redis node が決められる 37

Slide 38

Slide 38 text

ロールメトリックの新 key の構造 {オーガニゼーションID.r.1.サービスID.ロールID.スロット番號}.メトリック名 Q. key の形を變へて大丈夫? A. ● Redis Cluster は 1 週閒程しかメトリックが保存されないので頑張って移行できる ● DynamoDB へ移す前、ECS で讀み出した後に hash tag の {} を取り除くので、Redis Cluster の外には影響しない 38

Slide 39

Slide 39 text

ロールメトリックの新 key の構造 {オーガニゼーションID.r.1.サービスID}.ロールID.スロット番號.メトリック名 ↓ {オーガニゼーションID.r.1.サービスID.ロールID.スロット番號}.メトリック名 39 移行しませう (長時閒の downtime 無しで)

Slide 40

Slide 40 text

ロールメトリックの新 key の構造 {オーガニゼーションID.r.1.サービスID}.ロールID.スロット番號.メトリック名 ↓ {オーガニゼーションID.r.1.サービスID.ロールID.スロット番號}.メトリック名 40 移行しませう (長時閒の downtime 無しで) How?

Slide 41

Slide 41 text

時系列 DB (diamond) の仕組み 41 まづ Redis Cluster へ書き込む古い世代のメトリックを DynamoDB へ移す更新されなくなったメトリックを DynamoDB へ移す Redis Cluster に觸るのはこの 3 箇所

Slide 42

Slide 42 text

時系列 DB (diamond) の仕組み 42 まづ Redis Cluster へ書き込む古いメトリックを DynamoDB へ移す (1 週閒程で) 讀み出し

Slide 43

Slide 43 text

移行手順 43

Slide 44

Slide 44 text

移行手順 44 もう 1 臺 Redis Cluster を立てる舊新

Slide 45

Slide 45 text

移行手順 45 舊新掃除だけする

Slide 46

Slide 46 text

移行手順 46 舊新新しい key で、ロールグラフ用のカスタムメトリックも含めて書き込む node 數を調整する

Slide 47

Slide 47 text

移行手順 47 舊新 merge して DynamoDB に移す

Slide 48

Slide 48 text

移行手順 48 舊新兩書き込み開始以後の data だけになるまで 1 週閒超待った