失敗から始まるリアーキテクト: SREの実践例で見る改善の道筋

Slide 1

Slide 1 text

Slide 2

Slide 2 text

©2024 Metaps Holdings, Inc. ⾃⼰紹介⼭北尚道株式会社メタップスホールディングス srestプロダクトオーナー兼 SREマネジャー Yamakita Naomichi ＠sre_yamakita ベトナム‧ハノイでのオフショア事業⽴ち上げからキャリアをスタートし、アプリケーション開発からマネジメントまでを経験 2015年に当社参画。徐々にクラウドインフラにも携わり、現在は横断的なテックリードやSREチーフエンジニアとして従事「AWS DevDay Tokyo」登壇、「Amazon Web Services ブログ」、「builders.ﬂash」寄稿昨年よりSREのためのダッシュボード「srest」プロダクトオーナーを兼任

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

©2024 Metaps Holdings, Inc. ©2024 Metaps Holdings, Inc. ● ⼀⼈のSREエンジニアが2〜3のサービスを運⽤している ● アラートの発⽣頻度や傾向のトレースがおざなりに ○ 「HTTP 5XXのアラート調査どうなりました?」→ アラートが多すぎてSlackのメッセージを⾒失う ○ SentryやDatadogなど、アカウントを横断してアラートの傾向‧集計が⾒たい発⽣した課題

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

©2024 Metaps Holdings, Inc. ディレクトリ構造の⽐較ディレクトリを分けないサービスごとにディレクトリを分割抽象化したレイヤーでディレクトリを分割 applyの回数 1回で済む ▲サービス単位で実行レイヤーの粒度で実行安全性 ▲低い (影響範囲が広域に及ぶ) 高い比較的高い tfstateのサイズ ▲非常に大きい (applyの実行速度に影響) 小さい比較的小さいリソース間の依存関係シンプル ▲複雑比較的シンプルコンフリクト ▲発生しやすい発生しづらい比較的発生しづらい

Slide 23

Slide 23 text

Slide 24

Slide 24 text

©2024 Metaps Holdings, Inc. ©2024 Metaps Holdings, Inc. ● srestは、EventBridgeやAPIからイベントを収集‧可視化する仕組みのため、スキーマレスでデータを格納できるデータベースが適していた ● AWSのサービスではOpenSearch Service、 DocumentDBが候補に上がっていた ● OpenSearch Serviceは利⽤料が⾼額になるため、初期リリース段階ではDocumentDB を採⽤ ● ...は、想定していたが、ドキュメントが数百万を超えた辺りから、ダッシュボードでのリアルタイム集計が厳しくなった DocumentDBの採⽤理由

Slide 25

Slide 25 text

©2024 Metaps Holdings, Inc. ©2024 Metaps Holdings, Inc. ● 料⾦の試算 ○ 安定稼働にはデータノードのほか、マスターノードが最低3台必要 ○ 変数が多く、料⾦試算が難しい ■ データノードのインスタンスサイズ、インスタンス数、ストレージサイズ ■ マスターノード数 ■ 利⽤者増加に伴うスケール設計 ● データはExpand and Contract⽅式で移⾏ OpenSearch Service移⾏への課題

Slide 26

Slide 26 text

©2024 Metaps Holdings, Inc. Amazon DocumentDB Amazon OpenSearch Service Amazon DynamoDB 書き込み中速低速高速読み込み ▲中速 (メモリ次第) 高速高速複雑な検索可能可能 ▲やや難しい (設計次第) スケーラビリティ中高 (インデックスやシャードの設計が必要) 高 (オートスケール可能) メンテナンスウィンドウありありなし利用料インスタンスやストレージ使用量による (RI) インスタンスやストレージ使用量による安いスキーマレスデータベースの機能⽐較

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

©2024 Metaps Holdings, Inc. ©2024 Metaps Holdings, Inc. ● Fargate基盤 (あるいはEC2) でSQS + Run taskを実⾏することができる ○ ジョブを作成すると、ECSクラスターのコンソールでクラスターが作成されていることが確認できる ● バッチの種別によって柔軟にコンピューティングリソースを設定可能 ○ タスク定義はBatchのコンソールから登録 Fargateとの違いは?